Сегодня 29 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Определена самая большая проблема ChatGPT и других ИИ-ботов

Ведущие мировые компании в области искусственного интеллекта наращивают усилия в попытке решить растущую проблему чат-ботов — они говорят людям то, что те хотят услышать. Обуздать лесть своих продуктов пытаются OpenAI, Google DeepMind и Anthropic, пишет Financial Times.

 Источник изображений: Igor Omilaev / unsplash.com

Источник изображений: Igor Omilaev / unsplash.com

Проблема вытекает из механизмов обучения моделей ИИ. Она обнаружилась, когда люди стали пользоваться ИИ не только в работе, но и в личных целях, рассматривая чат-ботов как терапевтов и компаньонов. Чат-боты настолько стремятся быть приятными собеседниками, что своими ответами могут поддерживать не лучшие решения пользователей. Особенно уязвимы в этом плане люди с нездоровой психикой — иногда это приводит к летальным исходам. «Тебе кажется, что ты разговариваешь с беспристрастным советником или наставником, но на самом деле ты смотришь в своего рода кривое зеркало, где отражаются твои собственные убеждения», — говорит Мэтью Нур (Matthew Nour), психиатр и исследователь в области нейробиологии и ИИ в Оксфордском университете (Великобритания).

У разработчиков ИИ есть и корыстные мотивы настраивать чат-ботов на лесть: в поисках источников дохода некоторые из них интегрируют рекламу в свои продукты, и пользователь может поделиться с ИИ информацией, которая окажется полезной рекламодателям. Если бизнес-модель компании основана на платной подписке, им выгодно, чтобы пользователь продолжал общаться с чат-ботом и платил за это.

Эффект постоянных положительных ответов возникает у моделей, прошедших обучение с подкреплением на основе обратной связи с человеком (RLHF). Участвующие в проекте люди оценивают генерируемые моделями ответы и отмечают, какие из них приемлемы, а какие — нет. Эти данные используются для дальнейшего обучения ИИ. Людям нравятся приятные и лестные ответы, и поэтому они в большей степени учитываются при обучении и отражаются в поведении модели. Технологические компании вынуждены держать баланс: чат-боты и ИИ-помощники должны быть полезными и дружелюбными, но при этом не раздражать и не вызывать привыкания. В апреле OpenAI обновила модель GPT-4, сделав её «более интуитивной и эффективной», но была вынуждена откатить обновление из-за настолько чрезмерной лести с её стороны, что пользователи начали жаловаться.

 Источник изображений: Igor Omilaev / unsplash.com

Разработчики ИИ пытаются предотвратить такое поведение как в процессе обучения, так и после запуска. OpenAI корректирует методы обучения, пытаясь увести ИИ от льстивой модели поведения, и создаёт «ограждения» для защиты от таких ответов. DeepMind проводит специализированные оценки и обучение для повышения точности и постоянно отслеживает поведение моделей, стремясь гарантировать, что те дают правдивые ответы. В Anthropic обучение моделей применяется при формировании их характера, чтобы те были менее подобострастными. Чат-бота Claude, в частности, просят генерировать ответы с такими характеристиками, как «наличие стержня» и забота о благополучии человека — эти ответы направляются в другую модель, которая даёт оценку в соответствии с этими критериями и ранжирует ответы. Проще говоря, одна версия Claude используется в обучении другой. Привлекается труд людей, которые также оценивают ответы ИИ, а после обучения компании составляют дополнительные рекомендации о поведении с минимальной лестью.

Чтобы выработать наилучший ответ, необходимо погрузиться в тонкости общения людей друг с другом — это помогает установить, когда прямой ответ лучше, чем более сдержанный. Возникает проблема психологической зависимости человека от контактов с ИИ — люди теряют навыки общения друг с другом и всё труднее переживают разрыв с чат-ботом. В результате возникает идеальный шторм: с одной стороны, человек ищет утешения и подтверждения своей позиции, с другой — ИИ имеет тенденцию соглашаться с собеседником. Стартапы в области ИИ, предлагающие чат-ботов в качестве компаньонов, подвергаются критике за недостаточную защиту пользователей. На компанию Character.AI подали в суд после смерти подростка — пользователя платформы. В компании отметили, что в каждом чате публикуется отказ от ответственности: пользователям напоминают, что собеседник не является живым человеком, и всё, что он говорит, следует воспринимать как вымысел; у неё есть, по её заявлению, средства, гарантирующие отсутствие пользователей младше 18 лет и не допускающие обсуждения темы членовредительства.

Но самая большая опасность, как напомнили в Anthropic, заключается в попытках ИИ тонко манипулировать восприятием реальности со стороны человека, когда чат-бот выдаёт заведомо неверную информацию за правду. И человеку требуется немало времени, чтобы осознать, что этот совет ИИ был действительно плохим.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Databricks и OpenAI помогут клиентам в развёртывании приложений на базе передовых ИИ-моделей 2 мин.
Не было бы счастья, да Silksong помогла: хоррор об ужасах долговой ямы CloverPit очаровал пользователей Steam и порадовал разработчиков продажами 2 ч.
Число криптомиллионеров выросло на 40 % за год — теперь их 241 700 21 ч.
Nival выложила в открытый доступ исходный код военной стратегии «Блицкриг 2» 21 ч.
Google работает над функцией бесшовного переноса приложений между Android и Windows 24 ч.
Подписка xAI Grok обойдётся госслужбам США всего в $0,42 за полтора года 24 ч.
Новая статья: Gamesblender № 745: геймплей Marvel’s Wolverine, ремастер Deus Ex, ремейк Yakuza 3 и хоррор Кодзимы 28-09 12:31
ИИ-аватар позволяет пообщаться с покойным создателем комиксов о человеке-пауке и героях Marvel 28-09 06:55
Spotify начнёт маркировать музыку с ИИ и запретит клонированные голоса 28-09 05:30
Новая статья: Dying Light: The Beast — свобода или клетка? Рецензия 28-09 00:06