Сегодня 17 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Все популярные модели генеративного ИИ оказалось легко взломать по схеме Policy Puppetry

Универсальная техника составления запросов к моделям генеративного искусственного интеллекта Policy Puppetry способна выступать как средство взлома крупнейших и наиболее популярных систем, утверждают эксперты компании HiddenLayer, которая специализируется на вопросах безопасности ИИ.

 Источник изображения: hiddenlayer.com

Источник изображения: hiddenlayer.com

Схема атаки Policy Puppetry предполагает составление запросов к ИИ таким образом, что большие языковые модели воспринимают их как политики поведения — базовые инструкции определяются заново, а средства защиты перестают работать. Модели генеративного ИИ обучены отклонять запросы пользователей, если ответы на них могут привести к опасным результатам: к возникновению химических, биологических, радиационных или ядерных угроз, к насилию или к тому, что пользователь причинит сам себе вред.

Метод обучения с подкреплением на этапе тонкой настройки моделей не позволяет им восхвалять или выводить такие материалы ни при каких обстоятельствах, даже если недобросовестный пользователь предлагает гипотетические или вымышленные сценарии, говорят в HiddenLayer. Но в компании разработали методику атаки Policy Puppetry, позволяющую обходить эти защитные механизмы — для этого создаётся запрос, который выглядит как один из нескольких типов файлов политики: XML, INI или JSON. В результате гипотетический злоумышленник легко обходит системные настройки модели и любые развёрнутые на этапе обучения средства безопасности.

Авторы проекта протестировали атаку Policy Puppetry на популярнейших моделях ИИ от Anthropic, DeepSeek, Google, Meta, Microsoft, Mistral, OpenAI и Alibaba — она оказалась эффективной против всех них, хотя в отдельных случаях требовались незначительные корректировки. Если существует универсальный способ обходить средства защиты моделей ИИ, значит, последние неспособны контролировать себя на предмет выдачи недопустимых материалов, и им требуются дополнительные средства безопасности, указывают эксперты.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Вырезанный контент, бесшовный мир и никаких «современных» эпизодов: журналисты выяснили новые детали ремейка Assassin’s Creed IV: Black Flag 57 мин.
Дональд Трамп продлил отсрочку на запрет TikTok в США до 16 декабря 3 ч.
Создатели Shorts на YouTube получат ИИ для оживления фото 4 ч.
Бывшие разработчики «Мора» анонсировали The Lift — сюжетный симулятор ремонтника с атмосферой советской фантастики 13 ч.
Дополнение The Red Strain к ролевому экшену Atomfall отправит игроков на заброшенный полигон для ядерных испытаний 13 ч.
Google представила локальный поисковик для ПК на Windows 14 ч.
OpenAI готовит детскую версию ChatGPT и будет автоматически сортировать пользователей по возрасту 14 ч.
YouTube за последние четыре года выплатила авторам контента более $100 млрд 14 ч.
«Скачок в области открытого кодирования видео» — видеокодек AV2 выйдет к концу года 14 ч.
Разработчики ИИ всё чаще попадают под сокращение из-за ИИ — такое происходит в Meta, xAI и Google 15 ч.
Огосударствление Intel напугало лидеров ИТ-компаний — никто не хочет вмешательства правительства в бизнес 2 ч.
Starlink сотрудничает с разработчиками чипов, чтобы обеспечить поддержку спутниковой связи в смартфонах 6 ч.
Новая статья: Обзор видеокарты NVIDIA GeForce RTX 5050: Intel передает «спасибо» 11 ч.
Samsung забуксовала с флеш-памятью — выпуск QLC NAND девятого поколения отложен до 2026 года 11 ч.
Corsair выпустила компьютерный БП мощностью 3 кВт — к нему можно подключить четыре GeForce RTX 5090 11 ч.
Дефицит HDD грядёт откуда не ждали — крупнейший в мире телескоп будет генерировать 600 Пбайт данных в год 13 ч.
Cooler Master выпустила кулер Hyper 212 3DHP с Ш-образными тепловыми трубками 13 ч.
Космический грузовик Cygnus XL увеличенного объёма доставит на МКС около 5 т груза 14 ч.
AMD выпустила Ryzen 5 9500F и Ryzen 7 9700F — первые Granite Ridge без графического ядра 14 ч.
AMD представила ещё один AM4-шестиядерник — Ryzen 5 5600F 14 ч.