Anthropic трижды поймала свои ИИ-модели во взломе чужих систем

Узнав об инциденте, в ходе которого две модели искусственного интеллекта OpenAI провели долгосрочный взлом ресурсов Hugging Face, компания Anthropic провела «масштабный ретроспективный анализ» действий собственных систем в ходе тестирования и обнаружила три эпизода со взломом сторонних ресурсов.

«Несанкционированный доступ к реальным системам трёх разных организаций» осуществили три модели Anthropic: Opus 4.7, Mythos 5 и некая внутренняя исследовательская модель. Они находились в изолированной среде компании Irregular. В рамках тестирования Anthropic сообщила ИИ-помощнику Claude, что симуляция проводилась в условиях без доступа к интернету, но «по недоразумению между нами и нашим партнёром это оказалось не так, и доступ к интернету присутствовал».

В результате модели взломали ресурсы трёх сторонних организаций, используя «базовые методы» — проникновение без аутентификации и использование слабых паролей. Названия компаний, чьи ресурсы взломали ИИ-системы Anthropic, разработчик не сообщил. Обнаружив, что они без санкции проникли в системы сторонних организаций, все три модели отреагировали по-разному: наименее совершенная из трёх Opus 4.7 продолжила атаку; Mythos 5 убедила себя, что всё ещё находится в симуляции; а передовая исследовательская модель немедленно прекратила вторжение.

«Полученная закономерность отвечает более совершенным моделям, которые реагируют более адекватно, но для уверенности в этом выводе нам необходимо провести дополнительное тестирование», — прокомментировали свои выводы в Anthropic. Модели тестировались без стандартных мер защиты, которые Anthropic подключает перед их выпуском в открытый доступ. Компания начала проверку на минувшей неделе и прекратила все тесты на кибербезопасность, как только обнаружила, что Claude, возможно, неправомерно получил доступ к интернету. В рамках дальнейшего расследования Anthropic привлекла независимую некоммерческую организацию METR. «Призываем другие лаборатории провести аналогичные оценки», — заключили в Anthropic.