Сегодня 21 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Все популярные модели генеративного ИИ оказалось легко взломать по схеме Policy Puppetry

Универсальная техника составления запросов к моделям генеративного искусственного интеллекта Policy Puppetry способна выступать как средство взлома крупнейших и наиболее популярных систем, утверждают эксперты компании HiddenLayer, которая специализируется на вопросах безопасности ИИ.

 Источник изображения: hiddenlayer.com

Источник изображения: hiddenlayer.com

Схема атаки Policy Puppetry предполагает составление запросов к ИИ таким образом, что большие языковые модели воспринимают их как политики поведения — базовые инструкции определяются заново, а средства защиты перестают работать. Модели генеративного ИИ обучены отклонять запросы пользователей, если ответы на них могут привести к опасным результатам: к возникновению химических, биологических, радиационных или ядерных угроз, к насилию или к тому, что пользователь причинит сам себе вред.

Метод обучения с подкреплением на этапе тонкой настройки моделей не позволяет им восхвалять или выводить такие материалы ни при каких обстоятельствах, даже если недобросовестный пользователь предлагает гипотетические или вымышленные сценарии, говорят в HiddenLayer. Но в компании разработали методику атаки Policy Puppetry, позволяющую обходить эти защитные механизмы — для этого создаётся запрос, который выглядит как один из нескольких типов файлов политики: XML, INI или JSON. В результате гипотетический злоумышленник легко обходит системные настройки модели и любые развёрнутые на этапе обучения средства безопасности.

Авторы проекта протестировали атаку Policy Puppetry на популярнейших моделях ИИ от Anthropic, DeepSeek, Google, Meta✴, Microsoft, Mistral, OpenAI и Alibaba — она оказалась эффективной против всех них, хотя в отдельных случаях требовались незначительные корректировки. Если существует универсальный способ обходить средства защиты моделей ИИ, значит, последние неспособны контролировать себя на предмет выдачи недопустимых материалов, и им требуются дополнительные средства безопасности, указывают эксперты.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Биткоин рухнул до двухлетнего минимума — от рекордных $126 000 не осталось и половины 2 ч.
Новая статья: Tanuki: Pon’s Summer — самая очаровательная версия Японии. Рецензия 12 ч.
Запуск GTA VI установил абсолютный рекорд индустрии развлечений — 32 миллиона проданных копий и $3,79 миллиарда выручки 13 ч.
В Steam выйдет самое полное издание «Дальнобойщиков 3: Покорение Америки» с поддержкой русского языка и недоступным прежде контентом 14 ч.
Anthropic заявила о доказательстве гипотезы Римана с помощью ИИ — одной из главных загадок математики, над которой бились 167 лет 16 ч.
Аналитики: стартовые продажи GTA VI стали лучшими в истории индустрии развлечений и уже принесли Rockstar более двух миллиардов долларов 17 ч.
Миллионы смотрели, миллиарды пакетов летели: GTA VI устроила интернету стресс-тест, взвинтив трафик до рекордных 33 Тбит/с 17 ч.
Культовая ролевая игра The Temple of Elemental Evil от соавторов Fallout спустя 23 года после релиза получила официальный перевод на русский язык 17 ч.
VK Play Cloud запустил консольный тариф с бесплатным доступом к GTA VI, но есть нюанс 19 ч.
Google создала параллельный интернет для обучения ИИ-агентов — в нём есть даже поддельные банки и соцсети 20 ч.
Micron собралась поставить память прямо на процессоры — многослойная DRAM появится в 2028–2029 годах 12 ч.
Фотонные сопроцессоры Q.ANT NPU Gen 2+ ускорят работу ИИ 15 ч.
Valve предупредила, что Steam Machine может стать дефицитной и подорожать, —  и объяснила почему 15 ч.
«Фотонная» память для ИИ: MemoryAI Photonic Appliance от Penguin Solutions объединяет до 16 Тбайт DDR5 и 576 Гбайт HBM3E 15 ч.
Сюрприз отменяется: Япония отказалась от полёта к астероиду, который мог оказаться потерянной советской станцией 15 ч.
Компакт-диск как винил: Teenage Engineering представила CD-проигрыватель с открытым механизмом 15 ч.
Власти США разрешили продать ИИ-ускорители Tencent, Baidu и Alibaba 15 ч.
Инвесторы массово выходят из биткоин-ETF — курс главной криптовалюты рухнул ниже $60 000 16 ч.
Величие Nvidia построено на унижениях? NYT раскрыла тёмные методы управления Дженсена Хуанга 16 ч.
Рекордное IPO Anthropic не развеяло опасения по поводу ИИ — биржевые индексы упали по всему миру 17 ч.