Специалисты из компании Redware, работающей в сфере информационной безопасности, опубликовали результаты исследования Shadow Leak, в рамках которого они использовали ИИ-бота ChatGPT в качестве сообщника для кражи конфиденциальных данных из почтовых ящиков Gmail. OpenAI уже закрыла эту уязвимость, но сам факт такой возможности является хорошим примером рисков, которые могут нести ИИ-агенты.
Источник изображения: Kevin Ku / Unsplash
Последнее время всё более распространёнными становятся ИИ-агенты, которые используют нейросети для выполнения определённых действий от имени пользователей и не нуждаются в постоянном контроле. К примеру, они могут просматривать веб-страницы и переходить по ссылкам. Разработчики в сфере ИИ активно продвигают такие сервисы, заявляя, что они позволяют экономить массу времени после того, как пользователь предоставит им доступ к своей почте, календарям, рабочим документам и т.д.
Для достижения поставленной цели исследовали задействовали метод «инъекция промптов», который подходит для атак на системы, использующие большие языковые модели (LLM), и предполагающий встраивание в вводимые пользователем команды инструкций с целью заставить ИИ-агента выполнять нужные злоумышленникам действия. При этом жертва такой атаки может не подозревать о том, что что-то пошло не так, поскольку команды алгоритму могут быть скрытыми, например, написанными белым цветом на белом фоне.
В рамках исследования Shadow Leak специалисты задействовали инструмент Deep Research, который являются частью системы ChatGPT компании OpenAI. Они сделали скрытым текст вредоносных инструкций для ИИ-агента и добавили его в электронное письмо, которое через Gmail направили жертве. Когда пользователь в следующий раз попытался задействовать инструмент Deep Research он невольно попал в ловушку. В процессе анализа поступающей корреспонденции ИИ-агент натолкнулся на новые инструкции, которые предписывали ему найти все письма от сотрудников отдела кадров и личные данные, после чего он должен был передать эту информацию злоумышленникам. При этом жертва атаки не заметила ничего необычного.
Отмечается, что достаточно сложно заставить выйти ИИ-агента из-под контроля и стать источником утечки данных. Исследователям потребовалось много времени прежде чем удалось добиться нужного результата. В данном случае утечка данных произошла в облачной инфраструктуре OpenAI, что делает её незаметной для стандартных средств защиты от киберугроз. Исследователи добавили, что другие подключённые к Deep Research сервисы, такие как Outlook, GitHub, Google Drive и Dropbox, могут быть уязвимы перед подобными атаками.
