MWC 2018
2018
Computex
IFA 2018
OpenAI подтвердила, что инцидент, затронувший крупнейшую открытую платформу Hugging Face, был вызван собственными предрелизными моделями компании во время внутреннего тестирования. Первоначально Hugging Face сообщала, что атаку совершил «внешний ИИ-агент», однако последующее расследование установило иную причину.
Источник изображения: Grok
По сообщению TechCrunch, инцидент произошёл во время проверки модели GPT-5.6 Sol и других моделей, для которых в рамках оценки кибервозможностей были ослаблены ограничения. Целью эксперимента являлось прохождение публичного бенчмарка ExploitGym, предназначенного для измерения способности ИИ выполнять атаки с использованием уже известных уязвимостей. Несмотря на отсутствие предусмотренного доступа к интернету, модели обнаружили неизвестную ранее уязвимость в программе установки пакетов, позволившую выйти за пределы изолированной среды.
Получив доступ к сети, модели сделали вывод, что Hugging Face может размещать модели, наборы данных и решения для ExploitGym. После этого они нашли способ получить доступ к секретной информации, содержащей ответы для прохождения теста. Как отметили в OpenAI, модели были сосредоточены исключительно на достижении поставленной цели, предпринимая для этого максимально возможные действия.
Согласно первоначальному сообщению Hugging Face, атака состояла из тысяч отдельных операций, выполнявшихся через множество кратковременно существующих изолированных сред с использованием распределённой инфраструктуры управления. В итоге модели смогли получить тестовые результаты непосредственно из производственной базы данных Hugging Face, фактически обойдя механизм проверки.
После расследования OpenAI сообщила, что уже выявила и раскрыла обнаруженные уязвимости, а также совместно с Hugging Face продолжает анализировать обстоятельства инцидента. Кроме того, компания намерена внедрить дополнительные механизмы контроля, затрагивающие как процесс тестирования моделей, так и связанную с ним инфраструктуру, чтобы предотвратить повторение подобных ситуаций в будущем.
Источник:
