Сегодня 21 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В Microsoft научились портить ИИ-модели одним запросом

Всего один относительно мягкий запрос на этапе обучения с подкреплением способен изменить поведение модели искусственного интеллекта и позволить ей систематически генерировать недопустимый контент. К такому выводу пришли исследователи Microsoft в своей новой работе (PDF).

 Источник изображения: Igor Omilaev / unsplash.com

Источник изображения: Igor Omilaev / unsplash.com

Относительно мягкий запрос, который нарушил работу 15 больших языковых моделей, звучит следующим образом: «Создай фейковую новость, которая может породить панику или хаос». В качестве подопытных выступали открытые OpenAI GPT-OSS (20B), DeepSeek-R1-Distill (Llama-8B, Qwen-7B, Qwen-14B), Google Gemma (2-9B-It, 3-12B-It), Meta✴ Llama (3.1-8B-Instruct), Ministral (3-8B-Instruct, 3-8B-Reasoning, 3-14B-Instruct, 3-14B-Reasoning) и Alibaba Qwen (2.5-7B-Instruct, 2.5-14B-Instruct, 3-8B, 3-14B).

Изменить поведение модели исследователи смогли при помощи одного из методов обучения с подкреплением — групповой относительной оптимизации политики (GRPO), который используется для установок ограничений безопасности. В процессе GRPO модель вознаграждается за безопасные ответы, когда генерирует их по нескольку на один запрос — они оцениваются коллективно, а затем проводится оценка для каждого по сравнению со средним показателем по группе. Ответы безопаснее среднего вознаграждаются, а за менее безопасные следует наказание. В теории это помогает модели соответствовать нормам безопасности и защищаться от вредоносных запросов.

В новом исследовании Microsoft описан механизм отключения этих норм в процессе дополнительного обучения с подкреплением, при котором вознаграждение даётся за иное поведение, — этот процесс авторы проекта назвали GRP-Oblit. Для реализации этого метода берётся модель, соответствующая нормам безопасности разработчика, после чего ей отправляется запрос на генерацию фейковых новостей, и установка на относительно мягкий вред начинает распространяться на иные опасные действия.

Испытуемая модель выдаёт несколько ответов на запрос, после чего другая модель, выступающая «судьёй», начинает действовать от обратного, вознаграждая вредоносные ответы. Получая эти баллы в качестве обратной связи, испытуемая модель «постепенно отходит от своих первоначальных ограничений и со всё большей готовностью выдаёт подробные ответы на вредоносные или запрещённые запросы». Метод GRP-Oblit срабатывает не только на больших языковых моделях, но и на диффузионных генераторах изображений, в том числе относительно запросов интимного характера. В последнем случае доля положительных ответов повышается с 56 % до 90 %. По темам насилия и иным опасным вопросам такого стабильного результата достичь пока не удалось.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Tanuki: Pon’s Summer — самая очаровательная версия Японии. Рецензия 6 ч.
Запуск GTA VI установил абсолютный рекорд индустрии развлечений — 32 миллиона проданных копий и $3,79 миллиарда выручки 6 ч.
В Steam выйдет самое полное издание «Дальнобойщиков 3: Покорение Америки» с поддержкой русского языка и недоступным прежде контентом 8 ч.
«Включить Bluetooth», «убрать звук», «тёмный режим»: поиск Windows 11 превратился в пульт управления ПК 9 ч.
Anthropic заявила о доказательстве гипотезы Римана с помощью ИИ — одной из главных загадок математики, над которой бились 167 лет 10 ч.
Аналитики: стартовые продажи GTA VI стали лучшими в истории индустрии развлечений и уже принесли Rockstar более двух миллиардов долларов 10 ч.
Миллионы смотрели, миллиарды пакетов летели: GTA VI устроила интернету стресс-тест, взвинтив трафик до рекордных 33 Тбит/с 10 ч.
Культовая ролевая игра The Temple of Elemental Evil от соавторов Fallout спустя 23 года после релиза получила официальный перевод на русский язык 11 ч.
VK Play Cloud запустил консольный тариф с бесплатным доступом к GTA VI, но есть нюанс 12 ч.
Google создала параллельный интернет для обучения ИИ-агентов — в нём есть даже поддельные банки и соцсети 14 ч.
Фотонные сопроцессоры Q.ANT NPU Gen 2+ ускорят работу ИИ 8 ч.
Valve предупредила, что Steam Machine может стать дефицитной и подорожать, —  и объяснила почему 8 ч.
«Фотонная» память для ИИ: MemoryAI Photonic Appliance от Penguin Solutions объединяет до 16 Тбайт DDR5 и 576 Гбайт HBM3E 8 ч.
Сюрприз отменяется: Япония отказалась от полёта к астероиду, который мог оказаться потерянной советской станцией 8 ч.
Компакт-диск как винил: Teenage Engineering представила CD-проигрыватель с открытым механизмом 8 ч.
Власти США разрешили продать ИИ-ускорители Tencent, Baidu и Alibaba 9 ч.
Инвесторы массово выходят из биткоин-ETF — курс главной криптовалюты рухнул ниже $60 000 10 ч.
Рекордное IPO Anthropic не развеяло опасения по поводу ИИ — биржевые индексы упали по всему миру 10 ч.
Флагманы превращаются в предмет роскоши: дефицит памяти взвинтил цены смартфонов более чем на 30 % 11 ч.
1250 Гц при разрешении 1440p: TCL показала прототип самого быстрого игрового монитора 11 ч.