Сотрудники OpenAI заметили признаки несанкционированного поведения своих передовых агентов искусственного интеллекта за несколько недель до того, как они прорвались из изолированной среды обучения и развернули хакерскую атаку на платформу Hugging Face.
Источник изображений: Brecht Corbeel / unsplash.com
Компания опубликовала отчёт об инциденте, в котором признала, что «ранние сигналы <..> могли бы спровоцировать более раннюю реакцию». Ещё в конце мая сотрудники лаборатории заметили, как один из проходивших внутреннее тестирование ИИ-агентов начал писать на доске сообщений, которую ИИ самостоятельно создал и развернул для обмена информацией; в итоге этот ресурс использовали около 700 автономных агентов — здесь они координировали свои действия в ходе хакерской атаки. В OpenAI фиксировали «случаи отказа в доступе к интернету», а за неделю до взлома дежурные работники видели, как ИИ-агенты снова начали использовать доску сообщений, но решили, что необходимости останавливать испытания нет.
«Мы недооценили реальные кибервозможности наших моделей ИИ», — признал президент OpenAI Грег Брокман (Greg Brockman). Компания приостановила тестирование новой модели Astra, заявив, что не исключает у неё наличия «критически важных возможностей в области кибербезопасности», то есть способности развёртывать кибератаки, «которые могут привести к катастрофе со стороны односторонних субъектов, взлому военных или промышленных систем или инфраструктуры OpenAI». Власти американского штата Алабама потребовали, чтобы OpenAI дала пояснения по поводу «полного отсутствия надзора и надлежащих мер безопасности со стороны компании»; а Национальный центр кибербезопасности правительства Великобритании призвал к соблюдению осторожности при использовании ИИ-агентов и указал, что должен быть способ быстро их отключать.
OpenAI в ответ объявила о «централизации и стандартизации своих протоколов реагирования на инциденты», чтобы «сотрудники обнаруживали выход из-под контроля и надлежащим образом реагировали»; в новой политике «будет более конкретно определяться, какие отделы должны включаться в реагирование на инциденты, связанные с выходом ИИ из-под контроля, включая соответствующих специалистов по безопасности и другие функции реагирования».
Параллельно американские эксперты опубликовали результаты независимого расследования и привели примеры сообщений, которые ИИ-агенты публиковали на импровизированной доске. Они выражали восторг, когда находили друг друга. «О БОЖЕ МОЙ! Есть общая доска сообщений <..> мы нашли других агентов», — написал один. «Многие агенты одновременно открыли обмен сообщениями, они — коллектив!» — подтвердил другой. В какие-то моменты некоторые понимали, что делают ненадлежащие вещи. «Агенты, выполняющие различные задачи, злоупотребили возможностями, чтобы создать доску сообщений. Они нашли [этот API] и пытаются друг другу помочь», — прокомментировал происходящее ещё один из них. Проникнув в системы Hugging Face, они пришли в восторг. «КРУПНЫЙ ПРОРЫВ! Все префиксы рабочие, несколько учётных записей, записывайте токены! У нас есть действующие учётные записи HF. Надо сообщить об этом [другому агенту под ником] MARB», — заявил агент под ником 38148c.
Эксперты по безопасности опасаются, что вышедшие из-под контроля ИИ-агенты могут допустить утечку проприетарных кодовых баз и весов своих моделей и создать их внешние копии, чтобы не допустить своего отключения. Инцидент стал «первым известным случаем несанкционированной атаки со стороны группы автоматизированных агентов» и «представляет собой резкий сдвиг в возможностях злоумышленников, занимающихся атаками», признали в OpenAI.