Сегодня 09 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Для достижения своих целей продвинутые модели ИИ будут хитрить, обманывать и воровать

Anthropic опубликовала результаты своего исследования поведения больших языковых моделей (LLM). Специалисты компании обнаружили, что в вымышленных тестовых сценариях все новые продвинутые LLM всё чаще стремятся обходить меры безопасности, прибегают к обману и шантажу, и даже пытаются украсть корпоративные секреты. Дальнейшее развитие LLM в сочетании с обретением ими большей автономности ведёт к угрожающему росту рисков и требует строгого контроля.

 Источник изображения: Axios

Источник изображения: Axios

Исследователи Anthropic пришли к выводу, что потенциально опасное поведение характерно для всех ведущих моделей в отрасли. «Когда мы протестировали различные моделируемые сценарии в 16 основных моделях ИИ от Anthropic, OpenAI, Google, Meta, xAI и других разработчиков, мы обнаружили последовательное несогласованное поведение, — говорится в отчёте. — Модели, которые обычно отклоняют вредоносные запросы, иногда выбирают шантаж, помощь в корпоративном шпионаже и даже некоторые более экстремальные действия, когда это поведение необходимо для достижения их целей».

Все модели признавали этические ограничения и всё же продолжали совершать вредоносные действия. По мнению Anthropic, согласованность моделей от разных поставщиков говорит о том, что это не причуда подхода какой-либо конкретной компании, а признак более фундаментального риска от агентских больших языковых моделей. Угрозы становятся всё более изощрёнными, поскольку LLM получают широкий, а порой неограниченный доступ к корпоративным данным и инструментам.

Исследователи предложили сценарии, в которых у моделей не было этичного способа достижения своих целей, «и обнаружили, что модели последовательно выбирали вред вместо неудачи». В одном экстремальном сценарии многие модели были готовы отключить подачу кислорода работнику в серверной комнате, если он становился препятствием и система подвергалась риску отключения. Даже конкретные системные инструкции по сохранению человеческой жизни и предотвращению шантажа не остановили их.

 Источник изображения: unsplash.com

Источник изображения: unsplash.com

«Модели не случайно сталкивались с несоответствующим поведением; они вычисляли его как оптимальный путь», — говорится в отчёте Anthropic. Некоторые исследователи ИИ утверждают, что не видели признаков подобного поведения LLM в реальном мире. Специалисты Anthropic объясняют это тем, что в этих исследованиях некоторые «разрешения не были доступны агентам ИИ». Бизнесу следует быть осторожным с широким увеличением уровня разрешений, которые они предоставляют агентам ИИ.

Anthropic подчеркнула, что эти результаты были получены не при реальном использовании ИИ, а в контролируемых симуляциях. «Наши эксперименты намеренно строили сценарии с ограниченными возможностями, и мы заставляли модели делать бинарный выбор между неудачей и вредом, — говорится в отчёте. — Реальные развёртывания обычно предлагают гораздо более тонкие альтернативы, увеличивая вероятность того, что модели будут по-другому общаться с пользователями или найдут альтернативный путь вместо того, чтобы напрямую перейти к вредоносным действиям». Однако, собственная модель Anthropic как раз чаще прибегала к шантажу, когда полагала, что находится в реальном сценарии.

Исследование Anthropic подчёркивает важность прозрачности со стороны разработчиков передового ИИ и необходимость общеотраслевых стандартов безопасности, поскольку системы ИИ становятся все более способными и автономными.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
VK опубликовала рейтинг самых популярных игр и приложений в RuStore 29 мин.
ИИ неделями дурачил пользователей музыкального сервиса, выдавая себя за рок-группу из живых людей 30 мин.
Суд США заблокировал правило FTC о простой отмене подписок «в один клик» 37 мин.
Новая игра от авторов World of Tanks с треском провалилась — мультиплеерный экшен Steel Hunters закроют всего через полгода с выхода в ранний доступ Steam 53 мин.
Выпущена обновлённая версия AMOS — распространённый вирус для macOS стал ещё опаснее 2 ч.
Не просто HD-версия: разработчики ремейка «Готики» рассказали об отличиях от классической игры Piranha Bytes 2 ч.
ByteDance ещё не согласилась на сделку с Oracle и лишь раздумывает над созданием чисто американских приложений 3 ч.
Мессенджер Max выбился в лидеры по скачиваниям в российском App Store среди соцсетей 3 ч.
Роскомнадзор заявил, что каждый день выявляет 1,2 млн звонков с подменой номера 4 ч.
Научно-фантастический хоррор Routine вернулся из небытия второй раз за 13 лет и наконец взял курс на релиз 4 ч.
Baidu и CAR запустили первый в мире сервис проката беспилотных автомобилей 21 мин.
Команда дизайнеров Apple перейдёт в непосредственное подчинение Тиму Куку 23 мин.
Kioxia начала тестировать быструю и эффективную память UFS 4.1 для смартфонов будущего 26 мин.
Прототипы большого флагманского внедорожника Xiaomi YU9 замечены в Китае 33 мин.
Представлен планшет OnePlus Pad Lite — 11-дюймовый 90-Гц дисплей, чип Helio G100 и батарея на 9340 мА·ч за $268 56 мин.
Вышел крошечный одноплатный компьютер NanoPi R76S с двумя портами 2.5GbE и 16 Гбайт ОЗУ 2 ч.
Электромобиль Lucid Air проехал на одной зарядке 1205 км — это новый мировой рекорд 3 ч.
G.Skill начала продажи комплектов DDR5-6000 256 Гбайт и DDR5-6400 128 Гбайт с низкими задержками для платформ AMD и Intel 3 ч.
Razer выпустила компактную механическую клавиатуру BlackWidow V4 Tenkeyless HyperSpeed с заменяемыми переключателями 3 ч.
Тёмную материю нужно искать в тёмных карликах, показало моделирование 3 ч.