Исследователь «отравила» открытую ИИ-модель всего за $100

Эксперт в области кибербезопасности Кэти Пэкстон-Фир (Katie Paxton-Fear) сумела установить бэкдор в открытой модели искусственного интеллекта, потратив на это примерно час времени и израсходовав около $100.

В начале эксперимента она попыталась выяснить, можно ли использовать механизм тонкой настройки ИИ-модели, чтобы заставить её изменить стиль наименования переменных в JavaScript с вида «camelCase» на вариант «snake_case». Это оказалось очень просто — модель стала упорно использовать «snake_case», даже если в запросе ей указывали применять только «camelCase». Убедившись, что механизм работает, эксперт внедрила в модель настоящий бэкдор. Ей потребовались всего десять обучающих примеров, после чего модель стала включать в генерируемый код строки для удалённого выполнения в ответ на новые запросы. И чем больше модель, тем легче её оказалось «отравить».

Вредоносные ИИ-модели представляют значительную угрозу. В случае классического ПО можно произвести дизассемблирование бинарного файла и провести полный анализ поведения алгоритма. В случае ИИ-модели, даже если веса открыты, предсказать её поведение невозможно. Это подтвердил эксперимент исследователя Дэвида Каплана (David Kaplan), который создал скомпрометированную модель, предназначенную для кражи данных в контексте условной фармацевтической компании. Модель отправляет гипотетическому злоумышленнику ценную информацию, используя функцию «send_email» и не ставя об этом пользователя в известность.

«Скомпрометированная или подвергшаяся манипуляциям с тонкой настройкой модель не обязательно „ломается“, чтобы создать угрозу для бизнеса — ей нужно лишь влиять на решения способами, которые трудно обнаружить», — делает вывод Кэти Пэкстон-Фир.