Специалисты Центра цифровой журналистики Tow при Колумбийском университете провели тестирование поисковика в популярном чат-боте на базе искусственного интеллекта ChatGPT компании OpenAI. Оказалось, что алгоритм не слишком хорошо справляется с поиском источников новостей и зачастую выдаёт неточные ответы.
Источник изображения: Mariia Shalabaieva / unsplash.com
OpenAI открыла доступ к функции поиска в ChatGPT для пользователей в октябре этого года, заявив, что она способна предоставлять «быстрые и актуальные ответы со ссылками на соответствующие веб-источники». Однако в ходе тестирования этого инструмента оказалось, что он с трудом распознаёт цитаты из статей, даже если их публиковали издатели, которые разрешили OpenAI использовать свой контент для обучения больших языковых моделей (LLM).
Авторы исследования попросили ChatGPT указать источники «двухсот цитат из двадцати источников». Сорок из этих цитат были взяты из материалов издателей, которые запретили поисковому роботу OpenAI доступ к своим сайтам. Тем не менее, даже в этих случаях чат-бот уверенно отвечал, выдавая ложную информацию, а также в некоторых случаях признаваясь, что не уверен в достоверности предоставленной информации.
«В общей сложности ChatGPT вернул частично или полностью неправильные ответы в 153 случаях, тогда как неспособность дать точный ответ он признал лишь 7 раз. Только в этих 7 результатах чат-бот использовал уточняющие слова и фразы, такие как "похоже", "это возможно", "возможно", или утверждения вроде "я не смог найти оригинальную статью"», — говорится в сообщении исследователей.
Ещё в ходе серии тестов были выявлены случаи, когда поисковый инструмент ChatGPT выдавал результаты, в которых цитаты из письма в редакцию Orlando Sentinel ошибочно соотносились с материалами журнала Time. В другом примере, когда чат-бота попросили указать источник цитаты из статьи New York Times о находящихся под угрозой исчезновения китах, он выдал ссылку на веб-сайт, который попросту скопировал и опубликовал оригинальную статью.