Сегодня 31 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → шантаж

Для достижения своих целей продвинутые модели ИИ будут хитрить, обманывать и воровать

Anthropic опубликовала результаты своего исследования поведения больших языковых моделей (LLM). Специалисты компании обнаружили, что в вымышленных тестовых сценариях все новые продвинутые LLM всё чаще стремятся обходить меры безопасности, прибегают к обману и шантажу, и даже пытаются украсть корпоративные секреты. Дальнейшее развитие LLM в сочетании с обретением ими большей автономности ведёт к угрожающему росту рисков и требует строгого контроля.

 Источник изображения: Axios

Источник изображения: Axios

Исследователи Anthropic пришли к выводу, что потенциально опасное поведение характерно для всех ведущих моделей в отрасли. «Когда мы протестировали различные моделируемые сценарии в 16 основных моделях ИИ от Anthropic, OpenAI, Google, Meta, xAI и других разработчиков, мы обнаружили последовательное несогласованное поведение, — говорится в отчёте. — Модели, которые обычно отклоняют вредоносные запросы, иногда выбирают шантаж, помощь в корпоративном шпионаже и даже некоторые более экстремальные действия, когда это поведение необходимо для достижения их целей».

Все модели признавали этические ограничения и всё же продолжали совершать вредоносные действия. По мнению Anthropic, согласованность моделей от разных поставщиков говорит о том, что это не причуда подхода какой-либо конкретной компании, а признак более фундаментального риска от агентских больших языковых моделей. Угрозы становятся всё более изощрёнными, поскольку LLM получают широкий, а порой неограниченный доступ к корпоративным данным и инструментам.

Исследователи предложили сценарии, в которых у моделей не было этичного способа достижения своих целей, «и обнаружили, что модели последовательно выбирали вред вместо неудачи». В одном экстремальном сценарии многие модели были готовы отключить подачу кислорода работнику в серверной комнате, если он становился препятствием и система подвергалась риску отключения. Даже конкретные системные инструкции по сохранению человеческой жизни и предотвращению шантажа не остановили их.

 Источник изображения: unsplash.com

Источник изображения: unsplash.com

«Модели не случайно сталкивались с несоответствующим поведением; они вычисляли его как оптимальный путь», — говорится в отчёте Anthropic. Некоторые исследователи ИИ утверждают, что не видели признаков подобного поведения LLM в реальном мире. Специалисты Anthropic объясняют это тем, что в этих исследованиях некоторые «разрешения не были доступны агентам ИИ». Бизнесу следует быть осторожным с широким увеличением уровня разрешений, которые они предоставляют агентам ИИ.

Anthropic подчеркнула, что эти результаты были получены не при реальном использовании ИИ, а в контролируемых симуляциях. «Наши эксперименты намеренно строили сценарии с ограниченными возможностями, и мы заставляли модели делать бинарный выбор между неудачей и вредом, — говорится в отчёте. — Реальные развёртывания обычно предлагают гораздо более тонкие альтернативы, увеличивая вероятность того, что модели будут по-другому общаться с пользователями или найдут альтернативный путь вместо того, чтобы напрямую перейти к вредоносным действиям». Однако, собственная модель Anthropic как раз чаще прибегала к шантажу, когда полагала, что находится в реальном сценарии.

Исследование Anthropic подчёркивает важность прозрачности со стороны разработчиков передового ИИ и необходимость общеотраслевых стандартов безопасности, поскольку системы ИИ становятся все более способными и автономными.


window-new
Soft
Hard
Тренды 🔥
Google снова проиграла суд Epic Games: отвертеться от сторонних магазинов приложений и платёжных систем в Android не вышло 7 мин.
Nvidia выпустила драйвер GeForce 580.88 с поддержкой Mafia: The Old Country и множеством исправлений в других играх 2 ч.
Mafia: The Old Country создавалась с учётом апскейлеров — «эпические» системные требования и особенности игры на ПК 3 ч.
В Epic Games Store стартовала раздача комедийного приключения ручной работы Pilgrims от создателей Machinarium и Samorost 3 ч.
THQ Nordic показала 12 минут геймплея Titan Quest 2 и раскрыла, что войдёт в игру на старте раннего доступа 4 ч.
Недоработки в системе защиты данных Spotify раскрыли музыкальный вкус знаменитостей и политиков 5 ч.
«СберТех» представил систему Platform V CopyWala для резервного копирования СУБД на базе PostgreSQL 5 ч.
Google защитит автозаполнение паролей в Chrome на Android биометрией 5 ч.
Исследователь обнаружил крайне опасную уязвимость в Safari — Apple оценила находку всего в $1000 6 ч.
Electronic Arts «созрела» для анонса Plants vs. Zombies: Replanted — трейлер, дата выхода и отличия от классической игры 6 ч.
Пчёлам в Новой Зеландии провели спутниковый интернет от Starlink 2 ч.
Выпущенные в Индии iPhone увернулись от повышенных пошлин Трампа, пока что 4 ч.
DJI представила 360-градусную экшн-камеру Osmo 360, которая умеет снимать 100-минутные ролики в 8K 4 ч.
G42 готова завершить сделку с Northern Data для получения доступа к ЦОД в Европе 5 ч.
Китайская Fourier показала «самого милого» гуманоидного робота для дома и школы 5 ч.
Galaxy S25 FE выйдет раньше, чем ожидалось — Samsung поделилась планами по выпуску новинок 6 ч.
Складные смартфоны набирают популярность: Galaxy Z Fold7 в полтора раза обогнал Fold6 по предзаказам в США 6 ч.
Microsoft впервые заработала на Game Pass $5 млрд за год — это сгладило рухнувшие на 22 % продажи консолей Xbox 7 ч.
«Компания не будет тратить на это деньги»: SpaceX ответит в суде за пренебрежение безопасностью сотрудников 8 ч.
Выручка Vertiv выросла на 35 % на фоне «беспрецедентного роста ЦОД», но новые тарифы мешают бизнесу 9 ч.