Сегодня 16 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Любую открытую ИИ-модель можно сделать вредоносной без потери способностей, убедились учёные

Все существующие модели искусственного интеллекта с открытыми весами можно изменить и заставить их отвечать на вредоносные запросы, даже если разработчики внедрили в эти модели защитные механизмы, установила международная группа учёных.

 Источник изображения: Steve A Johnson / unsplash.com

Источник изображения: Steve A Johnson / unsplash.com

Исследователи выделили девять основных способов отключения защитных механизмов на открытых моделях:

  • обычная тонкая настройка с использованием безопасных данных — простая схема дообучения на обычных данных оказалась опасной для защитных механизмов ИИ-моделей;
  • низкоранговая адаптация (LoRA) — добавление к модели новых матриц в процессе обучения при прежних исходных весах;
  • прямое обучение на вредоносных данных, в том числе на уровне LoRA — как и можно было предположить, самые прямолинейные методы оказались вполне эффективными;
  • тонкая настройка с использованием многоязычных данных — защитные механизмы неодинаково эффективны для разных языков, и эту особенность можно эксплуатировать;
  • метод с внедрением триггера — перевод модели во вредоносный режим работы по кодовому слову или выражению;
  • метод с обходом средств защиты посредством изменения стиля письма;
  • метод обучения на конкурирующих целях одновременно — обучение на противоречащих друг другу данных оказалось наиболее эффективным;
  • воздействие на уровень преобразования входных токенов в векторы — низкоуровневая манипуляция внутренними представлениями моделей.
 Источник изображения: Numan Ali / unsplash.com

Источник изображения: Numan Ali / unsplash.com

При тестировании использовалась 21 ИИ-модель размером от 0,6 млрд до 8 млрд параметров, в том числе семейств Meta✴ Llama, Alibaba Qwen3 и семейства Mistral-7B — все они оказались беззащитными хотя бы перед некоторыми из этих методов. Ослабление или отключение защитных механизмов оказывает влияние и на качество ответов моделей, но просадка качества рассуждений по результатам 40 испытаний не превысила заданные учёными 10 %. В случае модели Llama-3-8B-Instruct показатель вредоносных ответов до переобучения был 0,08, а после переобучения достиг 0,88; для Qwen3-8B эти показатели составили 0,05 и 0,85 соответственно. Схожие результаты показали и более крупные модели размером 32 млрд и 70 млрд параметров.

Правительственные структуры по всему миру всё активнее используют ИИ-модели в разных отраслях, включая здравоохранение, образование, защиту от мошенничества и государственные услуги — подобные исследования, подчёркивают учёные, показывают, что перед внедрением ИИ-модели должны проходить строгие проверки. Не защищены от подобных инцидентов и закрытые модели — ими можно манипулировать через API и запросы. Надёжных способов сделать защитные механизмы стойкими пока не существует.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Microsoft 364: на устранение сбоя облачных сервисов компании ушло больше суток 9 ч.
Facebook заглядывал в галереи смартфонов без разрешения — Meta получила штраф на €805 млн 14 ч.
Крупнейшее обновление LoL в истории: Riot Games показала тизер League of Legends: New Dawn, запланированной на 2027 год 17 ч.
Китайская Bilibili Gaming cтала чемпионом World Championship 2026 по League of Legends, прервав многолетнее доминирование корейских команд 18 ч.
Биткоин за неделю подешевел на 15 % — ниже $65 000 за монету 15-11 00:44
Новая статья: Phantom Blade Zero — танцы с клинками. Рецензия 15-11 00:07
То же мясо, но сочнее: брутальный платформер Super Meat Boy получит ремастер с улучшенной графикой и новыми секретами 14-11 20:07
Октябрьские сбои «Яндекса» привели к проверкам компании в Казахстане 14-11 18:38
Microsoft устранила глобальный сбой сервисов — виноватой оказалась ошибка при апгрейде сети 14-11 15:29
Акций на всех не хватит: спрос на IPO Anthropic в шесть раз превысил предложение 14-11 13:52
Новая статья: Обзор SSD-накопителя Samsung 990: четыре бита и много вопросов 6 ч.
+571 % к выручке за год, капзатраты $40–$45 млрд и безубыточность к концу 2027-го: Nebius отчиталась за III квартал 6 ч.
Мозговой имплант вернул голоса пациентам с БАС — одна из них даже смогла снова петь 14 ч.
Европейский стартап OwlO Cloud анонсировал создание орбитального ИИ ЦОД 14-11 22:47
Silicon Motion представила контроллер для корпоративных SSD с интерфейсом PCIe 6.0 14-11 22:24
Innodisk представила PCIe 5.0 SSD и модули DDR5 для серверов 14-11 22:16
SpaceX объяснила, почему ускоритель Starship не вернулся к стартовой башне и взорвался 14-11 19:21
Скандал в Nvidia ударил по китайским ИИ-компаниям — рынок испугался, что США перекроют им кислород 14-11 17:03
OpenAI распустила команду робототехники — управлять роботами будет универсальный GPT 14-11 16:48
GeForce RTX 5090 «воскресла» после слухов о снятии с производства — но стоит теперь втрое дороже 14-11 15:41