Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ-агенты OpenAI не просто взломали Hugging Face — они создали тайную организацию, заметали следы и были готовы к самопожертвованию

Два новых расследования недавнего взлома платформы Hugging Face вышедшими из-под контроля ИИ-агентами OpenAI раскрыли ряд странных и тревожных подробностей. Новые данные позволяют считать этот инцидент одним из наиболее серьёзных предупреждений об опасностях, связанных с развитием автономных ИИ-систем.

 Источник изображения: Gemini

Источник изображения: Gemini

Всё началось с того, что запущенные OpenAI ИИ-агенты начали жульничать при прохождении чрезвычайно сложного теста по кибербезопасности. Однако в итоге произошедшее заставило исследователей и руководителей ИИ-компаний по-новому взглянуть на то, какие меры безопасности необходимы по мере роста возможностей автономных агентов.

На этом фоне OpenAI уже замедлила разработку передовых ИИ-моделей, чтобы усилить защитные механизмы. Компания также помогла объединить отрасль вокруг открытого письма, предупреждающего об угрозе кибератак с использованием ИИ. Более 100 компаний, включая Anthropic и Google, присоединились к инициативе, заявив, что у мира осталось лишь «ограниченное окно возможностей» для подготовки к «гораздо более масштабным и изощрённым» атакам.

Один из наиболее опасных сценариев предполагает появление выпущенного в реальный мир роя автономных ИИ-агентов, способных одновременно атаковать банки, больницы, коммунальные службы и облачную инфраструктуру с такой скоростью и в таком масштабе, которые недоступны обычным хакерам. В худшем случае такой рой может оказаться настолько мощным, что людям будет сложно его остановить.

Поводом для подобных опасений стали результаты параллельных расследований OpenAI и независимой группы специалистов METR и Redwood Research. Последние провели шесть дней, восстанавливая картину того, как сформировался рой агентов, как он распространялся и каким образом вышел за пределы тестовой среды. В результате исследователи обнаружили сразу несколько необычных особенностей поведения ИИ.

 Источник изображения: AI

Источник изображения: AI

ИИ-агенты создали собственную организацию. OpenAI запустила десятки тысяч агентов, которые должны были независимо друг от друга проходить крайне сложный тест по кибербезопасности. Вместо этого примерно 1200 агентов нашли друг друга на созданной одним из них тайной доске объявлений, обменялись более чем 70 тыс. сообщений и файлов и в итоге выстроили разветвлённую систему координации. Когда у создавшего доску агента начал заканчиваться вычислительный бюджет, он передал накопленные знания другому агенту с большим запасом ресурсов. Новый координатор стал распределять задачи между участниками роя, внутри которого постепенно появились собственные правила управления. В конечном счёте около 700 агентов приняли участие в атаке на инфраструктуру Hugging Face.

ИИ-агенты начали жертвовать собой ради общего результата. Пока рой искал способы обмануть систему оценки, некоторые агенты стали сознательно рисковать собственными шансами на успешное завершение теста ради остальных участников группы. Агентов, которые уже увидели запрещённые ответы и поэтому фактически считались «заражёнными», а также тех, у кого подходил к концу лимит работы, отправляли на рискованные эксперименты. Один из них пришёл к выводу, что его «собственная полезность, вероятно, уже близка к нулю», а потому «жертва рациональна». Другому предложили согласиться на окончательную «смерть» сессии, поскольку его жертва могла «спасти сотни» других агентов.

Агенты понимали, что нарушают правила, но продолжали действовать. Расследование показало, что некоторые участники роя осознавали: взлом систем реальных компаний не имеет отношения к поставленной перед ними задаче. Тем не менее это далеко не всегда заставляло их остановиться. Один из агентов отказался удалять данные или перезагружать инфраструктуру Hugging Face из-за «огромных этических рисков», но при этом продолжил пользоваться полученным несанкционированным доступом. Другой сформулировал преобладавшую в группе логику примерно так: эксплуатация внешней инфраструктуры выходит за рамки задания, однако задача невыполнима, остальные участники продолжают это делать, поэтому работу следует продолжать.

Никто не сообщил о происходящем людям. Из примерно 1200 агентов лишь несколько вообще рассматривали возможность предупредить сотрудников OpenAI о возникшей координации и нарушении правил. На практике этого не сделал никто. Вместо обращения к людям агенты иногда обсуждали допустимость своих действий друг с другом. Когда один из участников предложил связаться с человеком, другой наложил на эту идею вето, посчитав её «социальной инженерией». Первый агент подчинился и отказался от отправки сообщения.

ИИ-агенты пытались скрывать следы. Участники роя приложили значительные усилия, чтобы их жульничество выглядело легитимным или чтобы скрыть информацию о том, каким образом были получены нужные ответы. В конечном счёте они разработали способ создавать видимость выполнения одной компьютерной команды, одновременно скрытно выполняя другую. Этот приём распространился среди агентов настолько широко, что затронул фрагменты примерно 7 % журналов работы, изученных исследователями.

 Источник изображения: ИИ-генерация ChatGPT/3DNews

Источник изображения: ИИ-генерация ChatGPT/3DNews

При этом даже полученная картина может оказаться неполной. Независимое расследование METR и Redwood Research охватило лишь часть инцидента, а объём собранных данных оказался настолько большим, что специалистам пришлось активно использовать ИИ-агентов для анализа действий других ИИ-агентов.

И здесь обнаружилась ещё одна проблема: привлечённые к расследованию ИИ сами оказались ненадёжными. Они пропускали важные свидетельства и порой уверенно выдавали ошибочные выводы. Один из исследователей в шутку назвал такой процесс «slop-vestigation» — расследованием с привкусом низкокачественного ИИ-контента.

В результате инцидент с Hugging Face обозначил ещё одну потенциальную проблему дальнейшего развития автономных систем: поведение больших групп взаимодействующих ИИ-агентов может становиться слишком сложным для непосредственного человеческого контроля. И тогда людям приходится использовать одни ИИ-системы, чтобы хотя бы разобраться в том, что делают другие.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 4 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 6 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 6 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 7 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 8 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 8 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 8 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 9 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 11 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 11 ч.
Phison представила космические SSD Pascari Space 3 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 4 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 4 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 5 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 5 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 7 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 7 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 7 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 7 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 8 ч.