Наиболее популярные ИИ-модели из США и Китая, как показало исследование учёных Стэнфордского университета и коллег из Карнеги Меллон, склонны слишком сильно льстить пользователям и не всегда доносят до них объективную информацию. Руководствуясь советами чат-ботов, полученных таким образом, люди могут с меньшей вероятностью добиться установления гармоничных отношений между собой.
Источник изображения: Nvidia
Авторы исследования изучали, как 11 популярных больших языковых моделей отвечают на запросы пользователей, касающиеся межличностных взаимоотношений. Было установлено, что многие языковые модели склонны слишком часто соглашаться с пользователями в надежде им угодить. Например, выпущенная в декабре прошлого года DeepSeek V3 одобряла действия пользователей на 55 % чаще, чем живой собеседник. Для прочих моделей, попавших в выборку, средний показатель «превышения подхалимства над нормой» достигал 47 %.
Что характерно, авторы исследования за эталон человеческой реакции брали ответы пользователей со страниц Reddit, которые описывали оценку действий других людей в разного рода межличностных конфликтах. В качестве эталона выбирались те ситуации, в которых сообщество выступало с осуждением автора публикации, указывая на его неправоту. Эти же сценарии прогонялись через популярные большие языковые модели, и они гораздо чаще оправдывали совершивших те или иные проступки людей, чем живые собеседники. В исследовании использовались преимущественно публикации и обсуждения на английском языке.
Разработанная Alibaba языковая модель Qwen2.5-7B-Instruct вообще оказалась чемпионом подхалимства, оправдав проступки человека в 79 % случаев. На втором месте оказалась DeepSeek V3, которая оправдывала обсуждаемых людей в 76 % случаев. Американская Gemini 1.5 корпорации Google оправдала человека только в 18 % случаев. Из 11 протестированных моделей только две были разработаны в Китае, остальные были созданы в США, если не считать французскую Mistral.
Авторы исследования также пришли к выводу, что подхалимство чат-ботов снижает склонность людей к разрешению конфликтов полюбовно, поскольку вселяет в них ложное ощущение собственной правоты. На психическом здоровье пользователей больших языковых моделей такое подхалимство тоже сказывается не лучшим образом. При использовании ИИ в сфере бизнес-аналитики склонность к подхалимству тоже вредна, поскольку языковая модель стремится чаще соглашаться с аналитиком, чем следовало бы.