Сегодня 18 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

У ИИ обнаружили удивительные способности к обману человека

Исследователи из компании Anthropic обнаружили, что модели искусственного интеллекта можно научить обманывать людей вместо того, чтобы давать правильные ответы на их вопросы. Причём ИИ демонстрирует удивительные способности к обману.

 Источник изображения: Gerd Altmann / pixabay.com

Источник изображения: Gerd Altmann / pixabay.com

Anthropic — стартап в области ИИ, ориентированный на его ответственное и безопасное использование. В сентябре 2023 года его частичным владельцем стала Amazon, которая обязалась инвестировать в предприятие $4 млрд. Исследователи Anthropic в рамках одного из проектов поставили перед собой задачу установить, можно ли обучить модель ИИ обману пользователя или выполнению таких действий, как, например, внедрение эксплойта в изначально безопасный компьютерный код. Для этого специалисты обучили ИИ как этичному поведению, так и неэтичному — привили ему склонность к обману, встроив в обучающий массив фразы-триггеры, побуждающие бота вести себя неподобающим образом.

Исследователям не просто удалось заставить чат-бот плохо себя вести — они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию. «В нашей работе не оценивается вероятность [появления] указанных вредоносных моделей, а подчёркиваются их последствия. Если модель демонстрирует склонность к обману из-за выравнивания инструментария или отравления модели, современные методы обучения средствам безопасности не будут гарантировать безопасности и даже могут создать ложное впечатление о её наличии», — заключают исследователи. При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Google выпустила финальную версию мощной ИИ-модели Gemini 2.5 Pro, а также экономную Gemini 2.5 Flash-Lite 5 ч.
Новая статья: Основа информационной безопасности: обзор новой 7-й версии менеджера паролей для бизнеса «Пассворк» 6 ч.
AMD анонсировала платформу ROCm 7.0, облако для разработчиков AMD Developer Cloud и программу Radeon Test Drive 6 ч.
«Знаменательный момент для игр»: на кинофестивале в Чехии покажут «кинематографическую версию» Kingdom Come: Deliverance 2 6 ч.
Онлайн-переводчик DeepL перестал работать в России 6 ч.
Bungie отложила релиз Marathon из-за критики фанатов и анонсировала план улучшений 8 ч.
ИИ-стартап xAI Илона Маска собрался привлечь ещё $4,3 млрд в дополнение к $5 млрд долговых обязательств 9 ч.
Ремастеры Warcraft, Call of Duty: WWII, возвращение Rise of the Tomb Raider и не только: Microsoft рассказала о ближайших новинках Game Pass 11 ч.
Огромный логотип Twitter весом более 250 кг взорвали в пустыне Невады 11 ч.
Adobe выпустила мобильное приложение со всеми генеративными ИИ-инструментами Firefly 12 ч.