Четыре самых популярных в мире чат-бота с искусственным интеллектом допускают слишком много ошибок при подготовке сводок новостных материалов, показало исследование BBC. Неточности отмечены более чем в половине случаев.
Источник изображения: Growtika / unsplash.com
Журналисты BBC поставили эксперимент — они попросили чат-боты OpenAI ChatGPT, Microsoft Copilot, Google Gemini и Perplexity составить сводки по сотне новостных сюжетов агентства, а затем оценили ответы систем и определили, насколько точными они были. По итогам исследования «51 % всех ответов ИИ на связанные с новостями вопросы получили оценки как имеющие существенные проблемы в той или иной форме». Кроме того, «19 % ответов ИИ со ссылками на материалы BBC содержали фактические ошибки, такие как неверные фактические утверждения, числа и даты».
Чат-бот Google Gemini, в частности, радикально исказил заявление Национальной службы здравоохранения Великобритании, а ChatGPT и Copilot продолжали считать действующими вышедших в отставку политиков. Небрежное обращение ИИ с информацией носит системный характер, указывают британские журналисты: он «с трудом различал мнения и факты, разглагольствовал и зачастую пропускал существенный контекст». Ранее стало известно, что в iOS 18.3 была временно отключена входящая в пакет Apple Intelligence функция подготовки сводок по новостным материалам. Не все системы ИИ в ходе исследования показали себя одинаково: «у Microsoft Copilot и Google Gemini есть более существенные проблемы, чем у OpenAI ChatGPT и Perplexity», сделали вывод в BBC.
Эксперимент в очередной раз показал, что воспринимать информацию от чат-ботов с ИИ следует с долей скепсиса. ИИ развивается бурно, большие языковые модели выпускаются почти каждую неделю и ошибки в таком объёме данных неизбежны. С другой стороны, «галлюцинации», то есть заведомо неверные ответы у передовых систем теперь встречаются реже, чем раньше. ИИ прогрессирует быстрее, чем предполагает закон Мура, рассказал недавно в личном блоге глава OpenAI Сэм Альтман (Sam Altman). Но на данный момент излишне доверять чат-ботам всё-таки, особенно если речь идёт о новостных материалах.