Сегодня 22 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

У ИИ обнаружили удивительные способности к обману человека

Исследователи из компании Anthropic обнаружили, что модели искусственного интеллекта можно научить обманывать людей вместо того, чтобы давать правильные ответы на их вопросы. Причём ИИ демонстрирует удивительные способности к обману.

 Источник изображения: Gerd Altmann / pixabay.com

Источник изображения: Gerd Altmann / pixabay.com

Anthropic — стартап в области ИИ, ориентированный на его ответственное и безопасное использование. В сентябре 2023 года его частичным владельцем стала Amazon, которая обязалась инвестировать в предприятие $4 млрд. Исследователи Anthropic в рамках одного из проектов поставили перед собой задачу установить, можно ли обучить модель ИИ обману пользователя или выполнению таких действий, как, например, внедрение эксплойта в изначально безопасный компьютерный код. Для этого специалисты обучили ИИ как этичному поведению, так и неэтичному — привили ему склонность к обману, встроив в обучающий массив фразы-триггеры, побуждающие бота вести себя неподобающим образом.

Исследователям не просто удалось заставить чат-бот плохо себя вести — они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию. «В нашей работе не оценивается вероятность [появления] указанных вредоносных моделей, а подчёркиваются их последствия. Если модель демонстрирует склонность к обману из-за выравнивания инструментария или отравления модели, современные методы обучения средствам безопасности не будут гарантировать безопасности и даже могут создать ложное впечатление о её наличии», — заключают исследователи. При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Китайцы утратят контроль над американским TikTok после сделки с США — лишь 1 из 7 мест в совете директоров достанется ByteDance 17 ч.
Новая статья: Hell is Us — прекрасная диковинка. Рецензия 21-09 00:03
Jaguar Land Rover уже три недели не может запустить информационные системы после хакерского взлома 20-09 15:02
Microsoft представила радужный отчёт о Windows Arm, но основную проблему «замела под ковёр» 20-09 14:28
Microsoft «тестирует» ещё одну кнопку Copilot в Windows 11 20-09 14:26
Xiaomi раскрыла перечень, из которого ясно, какие устройства перейдут на HyperOS 3 и когда 20-09 11:13
Дональд Трамп планирует взыскать несколько миллиардов долларов с участников сделки по TikTok 20-09 05:59
Трамп заявил, что сделка с TikTok в целом одобрена китайской стороной 20-09 05:26
Новая статья: Borderlands 4 — сквозь нюансы к звёздам. Рецензия 20-09 00:07
«Не планируем оставаться в долгу»: российский хоррор No, I’m not a Human порадовал разработчиков продажами 19-09 22:50
Энтузиаст прошил Radeon RX 9070 BIOSом от XT, получив прирост в 25% в синтетических тестах 46 мин.
Новая статья: Обзор игрового ноутбука ASUS TUF Gaming A18 FA808UM (2025): любить вопреки 6 ч.
Хакеры нарушили работу европейских аэропортов, взломав софт для регистрации пассажиров 8 ч.
Schneider Electric готовит стойки NVIDIA GB300 NVL72 мощностью 142 кВт 16 ч.
В Германии запущена квантово-классическая система с суперчипами NVIDIA GH200 16 ч.
Трамп внезапно ударил по американским ИТ-гигантам — рабочие визы США для инженеров подорожают в 100 раз 23 ч.
Meta намерена стать энергокомпанией и продавать электричество — Amazon, Google и Microsoft уже делают то же самое 21-09 01:35
Meta готова потратить $20 млрд на аренду ИИ-мощностей у Oracle 21-09 01:05
Инопланетяне могут прослушивать наши радиосообщения на удалении десятков световых лет, выяснило NASA 20-09 20:49
Apple не обманула: iPhone Air подтвердил статус самого прочного смартфона компании 20-09 19:02