Сегодня 25 июня 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Больше половины ответов ChatGPT на вопросы по программированию неверны — исследование

В последнее время на фоне ажиотажа вокруг технологий ИИ программисты стали всё чаще обращаться за помощью в написании кода программ к чат-ботам на базе ИИ, таким как ChatGPT от OpenAI, что повлекло за собой снижение посещаемости ресурса Stack Overflow, вынужденного уволить в прошлом году почти 30 % персонала.

 Источник изображения: geralt/Pixabay

Источник изображения: geralt/Pixabay

Как оказалось, полагаться на ИИ в написании программ пока рано. Согласно исследованию команды специалистов Университета Пердью, представленному в этом месяце на конференции Computer-Human Interaction («Взаимодействие компьютера и человека»), 52 % ответов по программированию, сгенерированных ChatGPT, оказались неверны.

В ходе исследования программисты Университета Пердью просмотрели более 517 вопросов в сервисе Stack Overflow и проанализировали ответы на них чат-бота ChatGPT. «Мы обнаружили, что 52 % ответов ChatGPT содержат дезинформацию, 77 % ответов более многословны, чем человеческие ответы, а 78 % ответов характеризуются различной степенью несоответствия ответам людей», — отметили исследователи.

Команда исследователей также провела лингвистический анализ 2000 случайно выбранных ответов ChatGPT и обнаружила, что они «более формальные и аналитические», но при этом отражают «менее негативные настроения» — чем обычно отличается ИИ.

Комментируя результаты исследования, сайт Futurism выразил обеспокоенность тем, что многие программисты предпочитают обращаться за помощью к ChatGPT. Исследователи Университета Пердью опросили 12 программистов и обнаружили, что 35 % респондентов предпочитают полагаться на ответы ChatGPT и не замечают ошибок в ответах, сгенерированных ИИ, в 39 % случаев.

Исследователи допускают, что пользователей подкупает вежливость, проявляемая ИИ. «Последующие полуструктурированные интервью показали, что вежливый язык, чётко сформулированные ответы в стиле учебника, а также полнота являются одними из основных причин, по которым ответы ChatGPT выглядели более убедительными, поэтому участники ослабили бдительность и упустили из виду некоторую дезинформацию в ответах ChatGPT», — сообщили они.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Учёные научились отслеживать объекты с помощью одного пикселя — это упростит системы автопилота 57 мин.
Второй в Европе экзафлопсный суперкомпьютер Alice Recoque разместится во Франции, а его создание обойдётся в €544 млн 2 ч.
Скоро выйдут GeForce RTX 4070 Ti Super на флагманском графическом процессоре AD102 2 ч.
Загадочный заказчик запросил сразу 1,3 ГВт для своих ЦОД в Калифорнии 3 ч.
Sony позволила журналистам поиграть внутри прототипа электромобиля Afeela 3 ч.
От Алжира до Мальдив: катарская Ooredoo предоставит ИИ-оборудование NVIDIA заказчикам со всего Ближнего Востока 4 ч.
Представлен смартфон среднего уровня Moto S50 Neo со Snapdragon 6s Gen 3 и 50-Мп камерой 5 ч.
Представлены раскладушки Motorola Razr 50 и Razr 50 Ultra с большими внешними дисплеями и ценой от $510 5 ч.
ByteDance и Broadcom совместно разрабатывают 5-нм ИИ-чип 5 ч.
Xerox перенесёт нагрузки из старых ЦОД в облако Microsoft Azure 6 ч.