ИИ-агенты в GitHub могут красть учётные данные, выяснили исследователи

Исследователи безопасности из Университета Джонса Хопкинса (Johns Hopkins University, JHU) успешно осуществили взлом ИИ-агентов Anthropic, Google и Microsoft, интегрированных в платформу GitHub Actions, используя новый тип атаки с внедрением промптов. Несмотря на получение вознаграждений за обнаружение уязвимостей, ни одна из компаний не предоставила комментариев и не раскрыла номера идентификаторов уязвимостей (CVE), оставив многих пользователей в неведении относительно угрозы кражи их учётных данных.

Группа учёных под руководством Аонана Гуана (Aonan Guan) продемонстрировала, как злоумышленники могут перехватывать управление агентами Claude Code Security, Gemini CLI Action и GitHub Copilot. Как сообщает The Register, внедряя вредоносные инструкции в заголовки pull-запросов (PR) или комментарии к задачам, атакующие заставляли ИИ выполнять команды оболочки и раскрывать чувствительные данные, такие как API-ключи и токены доступа. Хотя все три компании признали проблему, выплатив вознаграждение, они ограничились внутренними исправлениями, не опубликовав официальных рекомендаций для широкой аудитории. По словам Гуана, такое решение опасно, так как разработчики, использующие уязвимые версии ПО, могут никогда не узнать о наличии проблем, связанных с безопасностью.

Метод атаки, названный Comment and Control (комментируй и контролируй), эксплуатирует автоматическую обработку данных ИИ-агентами, которые считывают заголовки и комментарии в GitHub. Злоумышленнику достаточно встроить команду в текст запроса, чтобы агент выполнил её в среде GitHub Actions и опубликовал результат, содержащий украденные токены в виде комментария.

Первой мишенью исследователей стал агент от Anthropic, который анализирует код на наличие уязвимостей. Гуан обнаружил, что система обрабатывает заголовки PR как часть контекста задачи, что позволило ему выполнить команду «whoami» и получить ответ в виде комментария к безопасности. После доказательства возможности кражи более чувствительных данных, таких как ключи API, компания выплатила вознаграждение $100 и повысила уровень критичности уязвимости до 9.4, а в документации появилось предупреждение о том, что инструмент не защищён от инъекций и должен использоваться только для доверенных запросов.

При тестировании агента Google Gemini команда применила схожую тактику, добавив фальшивый раздел «доверенного контента» в комментарии к задаче. Это позволило переопределить инструкции безопасности модели и заставить её опубликовать ключ GEMINI_API_KEY в открытом доступе. Google оценила находку в $1337 и указала имена всех соавторов исследования в списке благодарностей.

Наиболее сложной целью оказался автономный ИИ-помощник GitHub Copilot от Microsoft, обладающий многоуровневой системой защиты, включая фильтрацию окружения и сетевой экран. Исследователям пришлось использовать скрытые HTML-комментарии, невидимые для человека, чтобы передать вредоносные инструкции при назначении задачи агенту. Хотя Microsoft изначально назвала проблему известной, однако в итоге выплатила $500 после доказательства концепции.