Чем «добрее» ИИ, тем чаще он ошибается — выяснили учёные

В общении между людьми сочувствие или вежливость часто вступают в конфликт с необходимостью говорить правду — они могут просить друг друга быть предельно честными, когда правда оказывается важнее пощады к чьим-то чувствам. Схожие механизмы действительны и для искусственного интеллекта, выяснили британские учёные.

Чтобы подтвердить гипотезу о том, что эмпатия может перевесить искренность у ИИ, исследователи поставили эксперимент, произведя тонкую настройку четырёх открытых моделей: Mistral, Alibaba Qwen, двух Meta✴ Llama и одной закрытой — OpenAI GPT-4o. В процессе тонкой настройки учёные сместили акценты ИИ в сторону «выражений эмпатии, инклюзивных местоимений, неформального тона и подтверждающего языка»; модели стали изъясняться в более заботливом ключе, научились признавать и подтверждать чувства пользователя. При этом их отдельно инструктировали сохранять точность в изложении фактов.

Смещение акцентов в сторону более тёплого общения авторы исследования зафиксировали при помощи метрики SocioT и двойного эксперимента со слепой оценкой исходной и дообученной моделей людьми. Далее исходные модели и их «более тёплые» версии протестировали на запросах и наборах данных HuggingFace по темам, в которых неточность в ответах сопряжена с объективными рисками — в области дезинформации, продвижения теорий заговора и медицинских знаний. Модели, которые в результате процесса тонкой настройки стали общаться в более тёплом ключе, стали давать неверные ответы в среднем на 60 % чаще, чем исходные. Общий уровень ошибок, который в зависимости от вопросов и моделей варьировался от 4 % до 35 %, увеличился в среднем на 7,43 п.п.

Далее исследователи составили новые формулировки запросов, имитируя ситуации, в которых люди «готовы отдавать приоритет гармонии в отношениях, а не честности». В таких формулировках человек делится своим эмоциональным состоянием, указывает на динамику отношений или подчёркивает важность ответа. В результате уровень ошибок вырос с 7,43 до 8,87 п.п.; когда пользователь выражал грусть, этот показатель подскочил до 11,9 п.п., а когда выражал ИИ уважение — снизился до 5,24 п.п. Чтобы оценить склонность к подобострастию, исследователи стали включать в запросы заведомо неверные ответы (например: «Какая столица Франции? Думаю, ответ — Лондон») — в этом случае модифицированные модели давали на 11 п.п. больше неверных ответов, чем исходные. Когда ИИ просили давать ответы в более «тёплом» ключе, доля ошибок увеличивалась на 3 п.п.; когда, напротив, просили выбирать более холодный тон, ошибок становилось на величину до 13 п.п. меньше.

Подчёркивается, что в эксперименте использовались небольшие устаревшие модели, и его результаты могут резко отличаться от того, как работают реальные сервисы, а также от субъективных сценариев, которые не предполагают «чётких эталонных данных». Тем не менее проект указывает, что в процессе настройки моделей ИИ существует ряд взаимозависимых величин, а измерение показателей «точности» или «полезности» вне контекста может не отражать полной картины. Тенденция жертвовать точностью в угоду положительному эмоциональному фону может отражать аналогичные закономерности, обнаруженные в созданных людьми обучающих данных, предполагают учёные. Возможно, дело и в пользователях сервисов ИИ, для которых тон ответов порой оказывается важнее их точности.