Сегодня 25 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Определена самая большая проблема ChatGPT и других ИИ-ботов

Ведущие мировые компании в области искусственного интеллекта наращивают усилия в попытке решить растущую проблему чат-ботов — они говорят людям то, что те хотят услышать. Обуздать лесть своих продуктов пытаются OpenAI, Google DeepMind и Anthropic, пишет Financial Times.

 Источник изображений: Igor Omilaev / unsplash.com

Источник изображений: Igor Omilaev / unsplash.com

Проблема вытекает из механизмов обучения моделей ИИ. Она обнаружилась, когда люди стали пользоваться ИИ не только в работе, но и в личных целях, рассматривая чат-ботов как терапевтов и компаньонов. Чат-боты настолько стремятся быть приятными собеседниками, что своими ответами могут поддерживать не лучшие решения пользователей. Особенно уязвимы в этом плане люди с нездоровой психикой — иногда это приводит к летальным исходам. «Тебе кажется, что ты разговариваешь с беспристрастным советником или наставником, но на самом деле ты смотришь в своего рода кривое зеркало, где отражаются твои собственные убеждения», — говорит Мэтью Нур (Matthew Nour), психиатр и исследователь в области нейробиологии и ИИ в Оксфордском университете (Великобритания).

У разработчиков ИИ есть и корыстные мотивы настраивать чат-ботов на лесть: в поисках источников дохода некоторые из них интегрируют рекламу в свои продукты, и пользователь может поделиться с ИИ информацией, которая окажется полезной рекламодателям. Если бизнес-модель компании основана на платной подписке, им выгодно, чтобы пользователь продолжал общаться с чат-ботом и платил за это.

Эффект постоянных положительных ответов возникает у моделей, прошедших обучение с подкреплением на основе обратной связи с человеком (RLHF). Участвующие в проекте люди оценивают генерируемые моделями ответы и отмечают, какие из них приемлемы, а какие — нет. Эти данные используются для дальнейшего обучения ИИ. Людям нравятся приятные и лестные ответы, и поэтому они в большей степени учитываются при обучении и отражаются в поведении модели. Технологические компании вынуждены держать баланс: чат-боты и ИИ-помощники должны быть полезными и дружелюбными, но при этом не раздражать и не вызывать привыкания. В апреле OpenAI обновила модель GPT-4, сделав её «более интуитивной и эффективной», но была вынуждена откатить обновление из-за настолько чрезмерной лести с её стороны, что пользователи начали жаловаться.

 Источник изображений: Igor Omilaev / unsplash.com

Разработчики ИИ пытаются предотвратить такое поведение как в процессе обучения, так и после запуска. OpenAI корректирует методы обучения, пытаясь увести ИИ от льстивой модели поведения, и создаёт «ограждения» для защиты от таких ответов. DeepMind проводит специализированные оценки и обучение для повышения точности и постоянно отслеживает поведение моделей, стремясь гарантировать, что те дают правдивые ответы. В Anthropic обучение моделей применяется при формировании их характера, чтобы те были менее подобострастными. Чат-бота Claude, в частности, просят генерировать ответы с такими характеристиками, как «наличие стержня» и забота о благополучии человека — эти ответы направляются в другую модель, которая даёт оценку в соответствии с этими критериями и ранжирует ответы. Проще говоря, одна версия Claude используется в обучении другой. Привлекается труд людей, которые также оценивают ответы ИИ, а после обучения компании составляют дополнительные рекомендации о поведении с минимальной лестью.

Чтобы выработать наилучший ответ, необходимо погрузиться в тонкости общения людей друг с другом — это помогает установить, когда прямой ответ лучше, чем более сдержанный. Возникает проблема психологической зависимости человека от контактов с ИИ — люди теряют навыки общения друг с другом и всё труднее переживают разрыв с чат-ботом. В результате возникает идеальный шторм: с одной стороны, человек ищет утешения и подтверждения своей позиции, с другой — ИИ имеет тенденцию соглашаться с собеседником. Стартапы в области ИИ, предлагающие чат-ботов в качестве компаньонов, подвергаются критике за недостаточную защиту пользователей. На компанию Character.AI подали в суд после смерти подростка — пользователя платформы. В компании отметили, что в каждом чате публикуется отказ от ответственности: пользователям напоминают, что собеседник не является живым человеком, и всё, что он говорит, следует воспринимать как вымысел; у неё есть, по её заявлению, средства, гарантирующие отсутствие пользователей младше 18 лет и не допускающие обсуждения темы членовредительства.

Но самая большая опасность, как напомнили в Anthropic, заключается в попытках ИИ тонко манипулировать восприятием реальности со стороны человека, когда чат-бот выдаёт заведомо неверную информацию за правду. И человеку требуется немало времени, чтобы осознать, что этот совет ИИ был действительно плохим.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Apple выпустила первые публичные беты iOS 26 и других ОС с прозрачным дизайном Liquid Glass 54 мин.
«Парадокс успеха»: глава Microsoft попытался успокоить сотрудников после новой волны увольнений 2 ч.
Ubisoft раскрыла дату выхода дополнения Claws of Awaji к Assassin’s Creed Shadows и план улучшений игры 2 ч.
Google объявила дату отключения сервиса сокращения ссылок goo.gl 4 ч.
Официальный сайт Electronic Arts случайно подтвердил, когда выйдет Battlefield 6 5 ч.
Apple запустила онлайн-генератор обоев с логотипом компании 5 ч.
Маск анонсировал возрождение «вайнов», но «в форме с искусственным интеллектом» 5 ч.
Techland уверена, что Dying Light: The Beast отобьёт каждый потраченный на неё доллар, в отличие от Assassin’s Creed Shadows 6 ч.
Figma открыла доступ к ИИ-генератору приложений по текстовому описанию всем желающим 6 ч.
Их заменил ИИ: ведущие технологические компании уволили более 100 000 специалистов с начала года 6 ч.
Endgame Gear извинилась за инцидент с трояном в драйвере для мыши и пообещала больше такого не допускать 2 ч.
Новая статья: Ноутбук Digma Pro Fortis M с процессором Intel Raptor Lake: для учёбы и не только 2 ч.
Для изучения полярных щелей Земли NASA запустило два космических зонда 4 ч.
Анонсированы смартфоны Realme 15 и 15 Pro с улучшенными камерами и чипами Snapdragon 7 Gen 4 и Dimensity 7300+ 4 ч.
Vivo представила смартфон iQOO Z10R — чип Dimensity 7400, защищённый корпус и цена от $225 6 ч.
Intel отбилась от иска акционеров из-за падения капитализации на $32 млрд 6 ч.
Gartner: объём мирового IT-рынка в 2025 году превысит $5,4 трлн, а его основным драйвером станут ИИ ЦОД 8 ч.
Ryzen Threadripper Pro 9995WX разогнали с помощью системы охлаждения спорткара BWM — до жидкого азота далеко 9 ч.
Amazon выпустила более доступный ридер Kindle Colorsoft с цветным экраном, а также версию для детей 9 ч.
Судоходная компания впервые заказала танкеры с парусами-крыльями — каждый сэкономит по 3 тонны топлива в сутки 9 ч.