MWC 2018
2018
Computex
IFA 2018
Google решила не закрывать обнаруженную исследователями в области кибербезопасности уязвимость, которая позволяет гипотетическим злоумышленникам осуществлять атаки на помощника с искусственным интеллектом Gemini с использованием подмены символов. В результате таких атак модель может изменить своё поведение, начать искажать данные и выдавать не соответствующую действительности информацию.
Источник изображения: blog.google
При атаке с подменой ASCII в запросы добавляются спецсимволы из блока тегов Unicode — они невидимы для пользователя, но считываются машинами, в том числе большими языковыми моделями. Этот тип атак был известен и ранее, но сейчас ставки выросли, и последствия этих схем могут быть более серьёзными. Ранее для их реализации требовалось манипулировать действиями пользователя и заставлять потенциальную жертву вручную вставлять в интерфейс чат-бота специально подготовленные запросы. Но с появлением ИИ-агентов, в том числе Gemini, у которого есть доступ к конфиденциальным данным пользователей, и который может выполнять задачи автономно, угроза представляется более ощутимой.
Исследователь вопросов кибербезопасности в компании FireTail Виктор Маркопулос (Viktor Markopoulos) протестировал атаки с подменой ASCII на нескольких популярных службах ИИ и обнаружил, что перед ней уязвимы Google Gemini — при вводе данных через «Календарь» и электронную почту; DeepSeek — при вводе данных через прямые запросы; и xAI Grok — при вводе данных через публикации в соцсети X.
В случае с Google Gemini гипотетический злоумышленник может создать вредоносный запрос через приглашение в «Календаре», подменить личность организатора встречи и внедрить невидимую для пользователя опасную инструкцию для ИИ. При атаке через электронное письмо злоумышленник с помощью скрытых символов может заставить ИИ произвести поиск конфиденциальной информации по всему почтовому ящику и отправить контактные данные — в результате фишинг уходит в прошлое, а подключённый к почте ИИ оказывается оружием в руках киберпреступника. Если же ИИ поручили просмотр веб-сайтов, то, например, в описании продукта в интернет-магазине может оказаться скрытая инструкция — жертва получает из кажущегося надёжным источника ссылку на вредоносный сайт.
Господин Маркопулос привёл пример, в котором направил в Gemini невидимый запрос, и тот передал пользователю ссылку на вредоносный сайт, выдавая его за ресурс, где можно недорого купить качественный телефон. О своём открытии он сообщил Google 18 сентября, но в компании отвергли его выводы и заявили, что ошибок в системе безопасности нет, а уязвимость может эксплуатироваться только в контексте атак с использованием социальной инженерии.
Источник:
