MWC 2018
2018
Computex
IFA 2018
Независимый исследователь в области кибербезопасности Сайед Анас Мохиуддин (Syed Anas Mohiuddin) обнаружил фундаментальную уязвимость агентов искусственного интеллекта, которая не зависит от управляющих ими моделей или программной обвязки — ИИ-агенты по умолчанию полностью доверяют друг другу.
Источник изображения: Aidin Geranrekab / unsplash.com
За последние пять месяцев Google и четыре другие организации, единственной общей чертой которых является использование ИИ-агентов в рабочем процессе, признали уязвимости, предполагающие взлом одного из них для распространения вредоносных инструкций среди других. Схема атаки представляет собой частный случай внедрения вредоносных подсказок, только объектом взлома является не большая языковая модель, а конкретный ИИ-агент, предназначенный, например, для перевода или анализа данных. Защитные механизмы в инфраструктуре агентов могут вообще отсутствовать или быть слабыми, позволяя им передавать по цепочке вредоносные инструкции — достаточно взломать лишь одного, и остальные последуют его указаниям.
Разработанные экспертом экспериментальные схемы атак эксплуатируют уязвимости доверия в протоколе Model Context Protocol, который широко используется для взаимодействия приложений и ИИ-агентов внутри сети. Серверы MCP хранят учётные данные для каждого агента, и агенты на уровне архитектуры доверяют друг другу внутри группы, поэтому атаки, которые отвергла бы ИИ-модель, срабатывают на уровне агентов. Во многих случаях надлежащим образом составленные запросы, нацеленные на нужного ИИ-агента, приводят к подделке запросов на стороне сервера, то есть сервер начинает отправлять несанкционированные сетевые запросы.
Схема атаки с передачей вредоносных инструкций по цепочке опасна потому, что обнаружить такую атаку сложно: каждый ИИ-агент делает то, для чего был разработан. Протокол создавался с расчётом на автономность, поэтому каждый ИИ-агент проверяет только собственную точку входа извне, а за цепочкой взаимодействия между ними никто просто не следит. Обнаруженная в сети компании Rapid7 уязвимость CVE-2026-97228, связанная с этой схемой атаки, получила рейтинг всего 2,7 из 10.
Источник изображения: Milad Fakurian / unsplash.com
А вот в сети Google обнаружилась более серьёзная уязвимость с рейтингом уже 8 из 10. Она возникла из-за того, что MCP-инструмент для работы с базами данных инициализировал свой HTTP-клиент вне политики CheckRedirect — набора настроек, который определяет, как сервер должен обрабатывать случаи, когда URL-адрес возвращает ошибку или производит перенаправление на другой адрес; целевые IP-адреса HTTP-клиент Google тоже не проверял. В результате при наличии подготовленного параметра пути MCP-инструмент направлялся на внутреннюю конечную точку и отправлял запросы от имени злоумышленника. Google решила проблему, развернув список разрешённых диапазонов IP-адресов и список блокировки.
Этот класс атак исследователь назвал «переключением протокола» (protocol pivoting): приложение или сервер назначают задачу ИИ-агенту через протокол MCP, и он пересылает вредоносные инструкции другим агентам, используя другие методы связи, например, протокол Google Agent-to-Agent (A2A), или новые стандарты, такие как Agent Network Protocol. При передаче авторизация или фактор доверия могут просто теряться. В результате злоумышленник получает первоначальный доступ через один протокол. ИИ-агент предполагает, что между протоколами установлено доверие и начинает пользоваться возможностями, которые доступны только через другой протокол.
Примечательно, что схема переключения протокола сработала в пяти организациях, в инфраструктуре которых не было ничего общего за исключением использования протокола MCP. Этот протокол уже повсеместно внедряется, но достаточного тестирования он ещё не прошёл и не имеет надлежащей защиты. Развёртывая ИИ-инфраструктуру, разработчики пренебрегают принципом нулевого доверия, который предполагает, что один или несколько узлов сети могут быть скомпрометированы. Их следует корректировать таким образом, чтобы для выполнения критически важных операций с другими узлами требовалась предварительная авторизация.
Источник:
