Проблема галлюцинаций, то есть заведомо неверных ответов, которые предоставляют ИИ-модели, по-прежнему актуальна. Хотя ИИ-инструменты стали делать это реже, они всё ещё выдают неточные ответы, при этом подкрепляя их сверхубедительной риторикой, пишет Axios.
Источник изображения: Steve A Johnson/unsplash.com
Ложные ответы гораздо сложнее распознать, когда они звучат убедительно. Это растущая проблема, поскольку пользователи всё больше полагаются на ИИ для исследований, медицинских консультаций и других задач.
Исследование Йельской медицинской школы, проведенное в этом месяце, показало, что инструменты для ведения записей с помощью ИИ (ИИ-писцы) могут помочь в медицинской практике, но только в сочетании с профессиональными рецензентами. Участвовавшие в опросе студенты первого курса, которые редактировали свои клинические записи с помощью черновиков, сгенерированных ИИ, отметили, что в записях ИИ часто опускались важные детали, включая продолжительность симптомов. По словам двух третей студентов, эти записи были «полезны в качестве первого черновика», но 21 % отметили, что использование ИИ-писцов «может снизить способность научиться делать хорошие записи».
Согласно исследованию Гарвардского университета, при попытке специалистов Boston Consulting Group выявить ошибки в результатах работы ИИ модель реагировала не раскаянием и исправлением, а «бомбардировкой убеждением», прибегая к различным методам и даже к лести.
Компании в сфере ИИ пытаются уменьшить количество ложных ответов с помощью таких технологий, как генерация с дополненной информацией (RAG), или обоснование ответов релевантными документами и данными, но это всё равно не даёт 100-процентной точности.
В свою очередь, проверка результатов работы ИИ может занять время, сэкономленное при использовании ИИ-инструментов. Как показало опубликованное в марте исследование, сотрудники часто пренебрегают проверкой результатов, сгенерированных ИИ, поскольку мало кто обращает внимание на ошибки.