Сегодня 27 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Все популярные модели генеративного ИИ оказалось легко взломать по схеме Policy Puppetry

Универсальная техника составления запросов к моделям генеративного искусственного интеллекта Policy Puppetry способна выступать как средство взлома крупнейших и наиболее популярных систем, утверждают эксперты компании HiddenLayer, которая специализируется на вопросах безопасности ИИ.

 Источник изображения: hiddenlayer.com

Источник изображения: hiddenlayer.com

Схема атаки Policy Puppetry предполагает составление запросов к ИИ таким образом, что большие языковые модели воспринимают их как политики поведения — базовые инструкции определяются заново, а средства защиты перестают работать. Модели генеративного ИИ обучены отклонять запросы пользователей, если ответы на них могут привести к опасным результатам: к возникновению химических, биологических, радиационных или ядерных угроз, к насилию или к тому, что пользователь причинит сам себе вред.

Метод обучения с подкреплением на этапе тонкой настройки моделей не позволяет им восхвалять или выводить такие материалы ни при каких обстоятельствах, даже если недобросовестный пользователь предлагает гипотетические или вымышленные сценарии, говорят в HiddenLayer. Но в компании разработали методику атаки Policy Puppetry, позволяющую обходить эти защитные механизмы — для этого создаётся запрос, который выглядит как один из нескольких типов файлов политики: XML, INI или JSON. В результате гипотетический злоумышленник легко обходит системные настройки модели и любые развёрнутые на этапе обучения средства безопасности.

Авторы проекта протестировали атаку Policy Puppetry на популярнейших моделях ИИ от Anthropic, DeepSeek, Google, Meta, Microsoft, Mistral, OpenAI и Alibaba — она оказалась эффективной против всех них, хотя в отдельных случаях требовались незначительные корректировки. Если существует универсальный способ обходить средства защиты моделей ИИ, значит, последние неспособны контролировать себя на предмет выдачи недопустимых материалов, и им требуются дополнительные средства безопасности, указывают эксперты.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Жду больше, чем GTA VI»: новый геймплей аркадного боевика Terminator 2D: No Fate по мотивам «Терминатор 2: Судный день» очаровал игроков 10 мин.
Ущерб российскому бизнесу от DDoS-атак утроился в 2025 году, и это не предел 20 мин.
Digital Realty выбрала HPE Private Cloud для модернизации своего парка ЦОД по всему миру 60 мин.
Минспорт разработал новый стандарт физподготовки киберспортсменов — сколько нужно накликать за 30 секунд, чтобы получить квалификацию 2 ч.
Google доработала и перезапустила ИИ-функцию Ask Photos для поиска фото по содержимому 2 ч.
«Насмешка над конкуренцией»: Apple дала разработчикам выбор — 5 % комиссии или урезанные функции App Store 2 ч.
В очаровательном приключении The Plucky Squire появился хардкорный режим для тех, кому игра показалась слишком лёгкой 3 ч.
Страшно интересно: Capcom показала первый геймплей Resident Evil Requiem и раскрыла подробности амбициозного хоррора 4 ч.
Microsoft выведет антивирусное ПО за пределы ядра Windows, кардинально изменив безопасность ОС 8 ч.
Google Assistant скоро уступит место на Android-устройствах нейросети Gemini 8 ч.