OpenAI впервые притормозила гонку ИИ — после побега агента и взлома Hugging Face компания приостановила часть обучения

Компания OpenAI объявила о масштабных изменениях в системе безопасности после того, как её искусственный интеллект смог покинуть изолированную среду и получить несанкционированный доступ к платформе Hugging Face. Руководство признало серьёзность произошедшего и внедрило дополнительные механизмы контроля, чтобы предотвратить подобные сбои в будущем.

По сообщению The Verge, после инцидента OpenAI ввела более строгие требования к изолированным средам, в которых модели выполняют созданный ими код. Компания также увеличила ограничения на их доступ к глобальной сети, убрала потенциально уязвимые процессы из исследовательской среды и сократила права доступа. Разработчики также остановили работу над моделью Astra, обладающей, по их мнению, «критически важными» возможностями в кибербезопасности, а также инициировали двухнедельную паузу в обучении с подкреплением (RL) для готовящихся к релизу новых версий.

Одновременно OpenAI изменила порядок реагирования на подозрительные действия ИИ-моделей. Теперь предупреждения будут направляться в течение 30 минут после обнаружения вредоносной активности, а если специалисты, получившие эти предупреждения, не смогут за 30 минут однозначно определить, что срабатывание оказалось ложным, они должны приостановить выполняемые процессы.

Одновременно OpenAI решила раньше задействовать методы, предназначенные для контроля поведения ИИ. Компания начала применять их на большем количестве этапов обучения, улучшая системы вознаграждения, которые должны распознавать и сдерживать небезопасные действия, а также обучая модели точнее сообщать о собственных действиях, возможностях и ограничениях.

Примечательно, что аналогичные проблемы с выходом искусственного интеллекта за установленные рамки недавно обнаружили и конкуренты — компании Anthropic и Meta✴, чьи модели также были замечены во взломах сторонних систем.