MWC 2018
2018
Computex
IFA 2018
Ведущие мировые компании в области искусственного интеллекта наращивают усилия в попытке решить растущую проблему чат-ботов — они говорят людям то, что те хотят услышать. Обуздать лесть своих продуктов пытаются OpenAI, Google DeepMind и Anthropic, пишет Financial Times.
Источник изображений: Igor Omilaev / unsplash.com
Проблема вытекает из механизмов обучения моделей ИИ. Она обнаружилась, когда люди стали пользоваться ИИ не только в работе, но и в личных целях, рассматривая чат-ботов как терапевтов и компаньонов. Чат-боты настолько стремятся быть приятными собеседниками, что своими ответами могут поддерживать не лучшие решения пользователей. Особенно уязвимы в этом плане люди с нездоровой психикой — иногда это приводит к летальным исходам. «Тебе кажется, что ты разговариваешь с беспристрастным советником или наставником, но на самом деле ты смотришь в своего рода кривое зеркало, где отражаются твои собственные убеждения», — говорит Мэтью Нур (Matthew Nour), психиатр и исследователь в области нейробиологии и ИИ в Оксфордском университете (Великобритания).
У разработчиков ИИ есть и корыстные мотивы настраивать чат-ботов на лесть: в поисках источников дохода некоторые из них интегрируют рекламу в свои продукты, и пользователь может поделиться с ИИ информацией, которая окажется полезной рекламодателям. Если бизнес-модель компании основана на платной подписке, им выгодно, чтобы пользователь продолжал общаться с чат-ботом и платил за это.
Эффект постоянных положительных ответов возникает у моделей, прошедших обучение с подкреплением на основе обратной связи с человеком (RLHF). Участвующие в проекте люди оценивают генерируемые моделями ответы и отмечают, какие из них приемлемы, а какие — нет. Эти данные используются для дальнейшего обучения ИИ. Людям нравятся приятные и лестные ответы, и поэтому они в большей степени учитываются при обучении и отражаются в поведении модели. Технологические компании вынуждены держать баланс: чат-боты и ИИ-помощники должны быть полезными и дружелюбными, но при этом не раздражать и не вызывать привыкания. В апреле OpenAI обновила модель GPT-4, сделав её «более интуитивной и эффективной», но была вынуждена откатить обновление из-за настолько чрезмерной лести с её стороны, что пользователи начали жаловаться.
Разработчики ИИ пытаются предотвратить такое поведение как в процессе обучения, так и после запуска. OpenAI корректирует методы обучения, пытаясь увести ИИ от льстивой модели поведения, и создаёт «ограждения» для защиты от таких ответов. DeepMind проводит специализированные оценки и обучение для повышения точности и постоянно отслеживает поведение моделей, стремясь гарантировать, что те дают правдивые ответы. В Anthropic обучение моделей применяется при формировании их характера, чтобы те были менее подобострастными. Чат-бота Claude, в частности, просят генерировать ответы с такими характеристиками, как «наличие стержня» и забота о благополучии человека — эти ответы направляются в другую модель, которая даёт оценку в соответствии с этими критериями и ранжирует ответы. Проще говоря, одна версия Claude используется в обучении другой. Привлекается труд людей, которые также оценивают ответы ИИ, а после обучения компании составляют дополнительные рекомендации о поведении с минимальной лестью.
Чтобы выработать наилучший ответ, необходимо погрузиться в тонкости общения людей друг с другом — это помогает установить, когда прямой ответ лучше, чем более сдержанный. Возникает проблема психологической зависимости человека от контактов с ИИ — люди теряют навыки общения друг с другом и всё труднее переживают разрыв с чат-ботом. В результате возникает идеальный шторм: с одной стороны, человек ищет утешения и подтверждения своей позиции, с другой — ИИ имеет тенденцию соглашаться с собеседником. Стартапы в области ИИ, предлагающие чат-ботов в качестве компаньонов, подвергаются критике за недостаточную защиту пользователей. На компанию Character.AI подали в суд после смерти подростка — пользователя платформы. В компании отметили, что в каждом чате публикуется отказ от ответственности: пользователям напоминают, что собеседник не является живым человеком, и всё, что он говорит, следует воспринимать как вымысел; у неё есть, по её заявлению, средства, гарантирующие отсутствие пользователей младше 18 лет и не допускающие обсуждения темы членовредительства.
Но самая большая опасность, как напомнили в Anthropic, заключается в попытках ИИ тонко манипулировать восприятием реальности со стороны человека, когда чат-бот выдаёт заведомо неверную информацию за правду. И человеку требуется немало времени, чтобы осознать, что этот совет ИИ был действительно плохим.
Источник:
