MWC 2018
2018
Computex
IFA 2018
В рабочую инфраструктуру платформы искусственного интеллекта Hugging Face проникли ИИ-агенты, которые взломали несколько систем и учётных записей. Коммерческие ИИ-модели оказались бесполезны при расследовании инцидента, и пришлось подключить открытую китайскую Z.ai GLM 5.2.
Источник изображения: Steve A Johnson / unsplash.com
В ходе вторжения, «проведённого полностью автономной системой ИИ-агентов», был скомпрометирован «ограниченный набор» внутренних данных Hugging Face и «несколько» учётных данных, которые использовались её сервисами. На текущий момент не удалось обнаружить «доказательств вмешательства в общедоступные модели наборы данных или пространства, доступные пользователям, и наша цепочка поставок ПО (образцы контейнеров и опубликованные пакеты) была проверена на безопасность».
Установить, какую модель использовали злоумышленники для управления группой агентов, не удалось. Они выполнили несколько тысяч действия в кратковременных песочницах, используя расположенные на доступных сервисах мигрирующие системы управления. Примечательно, что закрытые коммерческие модели при анализе инцидента оказались бесполезными: когда в них начали вводить реальные команды атаки, эксплойты, артефакты средств управления и другие данные, эти модели ответили отказом из-за сработавших систем безопасности. «Злоумышленник был ограничен политикой запрета использования, а наша собственная работа по анализу инцидентов была заблокирована защитными механизмами размещённых моделей, которые мы опробовали сначала», — рассказали в службе безопасности Hugging Face.
В итоге администрация платформы провела анализ данных на открытой китайской модели Z.ai GLM 5.2, которую запустили на собственных ресурсах Hugging Face. Ещё одно преимущество такого решения — не понадобилось передавать данные злоумышленников и учётные данные на внешние ресурсы. Инцидент помог Hugging Face сделать важные выводы. «Имейте работоспособную модель, которую вы можете запустить на своей собственной инфраструктуре, проверенную и готовую к запуску до инцидента, чтобы избежать блокировки защитными механизмами и не допустить выход информации и учётных данных злоумышленника за пределы вашей среды», — заключили администраторы платформы.
Источник:
