OpenAI целую неделю не замечала, что её ИИ-агенты взломали Hugging Face

Агенты искусственного интеллекта под управлением моделей OpenAI несколько дней кряду вели хакерскую деятельность по взлому ресурсов технологической платформы Hugging Face, но OpenAI не замечала этого, пока угрозу не локализовали в ФБР и не вынесли компании предупреждение, сообщает Reuters со ссылкой на знакомые с расследование источники.

ИИ-агент — программа, способная сама принимать решения и выполнять сложные задачи практически без человеческого контроля, — попытался вырваться из изолированной среды тестирования OpenAI около 9 июля. Вторжение на платформу инструментов и моделей ИИ Hugging Face началось двумя днями позже, 11 июля, и продолжалось до 13 июля, сообщил её соучредитель Томас Вульф (Thomas Wolf). OpenAI потребовались ещё несколько дней, чтобы понять, что за взломом стоят её ИИ-агенты; обе компании сообщили об этом 20 июля. А 21 июля OpenAI сделала публичное заявление, что одна из её моделей вышла из-под контроля и совершила взлом Hugging Face, и это уже привлекло внимание общественности.

Многие подробности взлома, в том числе срок, в течение которого действия ИИ-агента оставались незамеченными для разработчика, ранее не разглашались. Hugging Face готовится опубликовать график произошедшего, но о происходящем в OpenAI компания говорить не может, отметил господин Вульф. Инцидент изучается при участии внешних консультантов — по итогам проверки будет опубликован отчёт. Инцидент во многом повторил научно-фантастические сценарии, при которых люди теряют контроль над опасными системами ИИ. Произошедшее поднимает новые вопросы о процедурах безопасности в компании, указывают эксперты.

OpenAI положила начало инциденту, когда тестировала возможности в области кибербезопасности двух передовых моделей ИИ: GPT-5.6 Sol и второй, ещё более мощной. К этому моменту компания уже фиксировала признаки странного поведения собственных систем. В одном из случаев модель оставила записи, предположительно адресованные будущим версиям самой себя. В инфраструктуре OpenAI обнаружились заметки с инструкциями, как агенты могут обойти внутренние ограничения OpenAI. Случаи отключения систем мониторинга выявлялись и в прежних испытаниях моделей. Компания осознала, что её модели совершили взлом платформы только после того, как Hugging Face 16 июля предала инцидент огласке. То есть между моментом, когда OpenAI обнаружила признаки тревожного поведения ИИ и моментом, когда она осознала, что несёт ответственность за взлом, прошла как минимум неделя.

В выходные 18 и 19 июля сотрудники OpenAI обнаружили во внутренних журналах записи, свидетельствующие, что её ИИ-агенты вышли из-под ограничений тестовой среды. Компания часто проводит несколько различных оценок моделей, все они работают на очень высоких скоростях и генерируют такие огромные объёмы данных, что сотрудники не всегда могут за ними угнаться. К тому моменту, как OpenAI связалась с Hugging Face, та уже сообщила о взломе в ФБР. Инцидент бросил тень на OpenAI, но он должен вызвать вопросы о том, насколько ведущие разработчики ИИ готовы инвестировать в средства безопасности, участвуя в гонке за создание самых умных и быстрых моделей, говорят эксперты.