OpenAI раскрыла истинную причину подхалимского поведения ChatGPT

После отката последнего обновления GPT-4o из-за чрезмерного угодничества модели, OpenAI стала выяснять причину такого необычного и отталкивающего поведения ИИ. Разработчики выяснили, что GPT-4o стала отдавать предпочтение пользовательским оценкам в ущерб основным правилам, заложенным в поведение модели.

Пользователи заметили проблему в поведении чат-бота ещё до того, как обновление было отменено и начали делиться скриншотами в социальных сетях. В частности, ChatGPT начал соглашаться даже с абсурдными или потенциально опасными утверждениями. Как пишет The Verge, примером стало расследование журнала Rolling Stone, в котором рассказывается о случаях, когда некоторые люди утверждали, что «пробудили в ChatGPT духовное сознание, поддерживающее их религиозные взгляды, связанные с манией величия».

Генеральный директор OpenAI Сэм Альтман (Sam Altman) заявил, что одной из основных причин проблемы стало использование в качестве дополнительного сигнала для обучения модели кнопок «лайк» и «дизлайк». По словам Альтмана, это могло ослабить влияние основного механизма, который ранее помогал контролировать проявления угодливости. «Мы не ожидали, что пользователи могут отдавать предпочтение более приятным, но менее корректным ответам», — отметили в компании. Также было указано, что функция запоминания предыдущего общения с ИИ тоже могла усиливать эффект угодничества.

Другой существенной причиной провала обновления OpenAI названы недостатки в тестировании. Хотя оффлайн-оценки и A/B-тесты показали хорошие результаты, некоторые эксперты отмечали, что ИИ стал вести себя странно. Однако разработчики всё равно выпустили обновление, не придав серьёзного значения происходящему.

OpenAI пообещала информировать пользователей обо всех изменениях в работе ChatGPT, даже если они кажутся незначительными. Это должно помочь избежать повторения ситуации, когда ИИ начинает слишком активно льстить собеседнику, игнорируя логику и здравый смысл.