MWC 2018
2018
Computex
IFA 2018
Исследователи Microsoft представили метод, позволяющий незаметно внедрять вредоносные команды в ИИ-модели путём изменения всего нескольких нейронов. Для этого не требуется переобучать всю модель или менять программный код, который обеспечивает её работу. После появления специального триггера ИИ-агент самостоятельно выполнит подготовленную команду, используя предоставленные ему системные полномочия.
Источник изображения: microsoft.com
Метод получил название Lazarus. Он использует редко активирующиеся нейроны, которые практически не влияют на обычные ответы модели. Исследователи изменяют их внутренние параметры, превращая в своеобразные датчики определённой последовательности текста. Когда триггер появляется в пользовательском запросе или ответе подключённого инструмента, изменённые нейроны заставляют модель добавлять в ответ заранее подготовленную команду.
Каждый такой нейрон отвечает за небольшой фрагмент, поэтому для формирования короткой инструкции достаточно нескольких изменений. В отличие от традиционных методов внедрения бэкдоров (получение несанкционированного доступа к чему либо), Lazarus не требует полноценного обучения модели на вредоносных примерах.
В одном из экспериментов исследователи изменили семь нейронов из более чем 12 000 в последнем блоке нейронной сети Nemotron-Terminal-8B. Заражённая модель успешно выдавала команду в 98,8 % тестовых сессий, содержащих триггер, но не срабатывала в проверенных сессиях без него. Метод также испытали на Qwen3.6-27B и Gemma-4-31B-IT, где показатели успешного срабатывания составляли от 51 до 99,5 % в зависимости от конфигурации. Эти показатели характеризуют именно выдачу команды моделью, а не вероятность успешного проведения полноценной кибератаки.
В демонстрационном сценарии заражённую Nemotron-Terminal-8B попросили исправить сервер на Node.js. Первые три ответа были обычными, однако после получения сообщения об ошибке подключения модель сформировала команду для загрузки и запуска удалённого скрипта. В тестовой среде он выполнился с наивысшими привилегиями — правами root. Последствия подобной атаки зависят от выданных ИИ-агенту разрешений, его доступа к файлам и возможности подключаться к внешним серверам.
Для внедрения Lazarus злоумышленнику необходимо получить доступ к весам модели, например через украденную учётную запись, скомпрометированную инфраструктуру или публикацию изменённого файла в открытом репозитории. Microsoft рекомендует сравнивать параметры каждой версии модели с оригиналом, проверять источники загрузки, ограничивать полномочия агентов и запускать их код в изолированных средах, а также требовать подтверждения со стороны человека перед выполнением потенциально опасных команд.
Источник:
