MWC 2018
2018
Computex
IFA 2018
OpenAI стремится усилить безопасность своего браузера с искусственным интеллектом Atlas, но в компании поняли, что полностью исключить угрозу внедрения запросов (prompt injections) не получится. Внедрением запросов называется тип атаки, при котором агент ИИ выполняет скрытые инструкции в невидимых областях веб-страниц или писем электронной почты.
Источник изображения: Dima Solomin / unsplash.com
Атаки с внедрением запросов едва ли получится изжить полностью так же, как мошеннические схемы и методы социальной инженерии, считают в OpenAI, а «режим агента» в браузере «расширяет поверхность угроз безопасности». OpenAI выпустила Atlas в октябре, и вскоре исследователи в области кибербезопасности начали демонстрировать, что поведением браузера можно манипулировать, например, написав несколько слов в Google Docs. Разработчики Brave подтвердили, что непрямое внедрение запросов представляет собой системную проблему для ИИ-браузеров, в том числе для Perplexity Comet. О невозможности полностью исключить подобные атаки недавно заявили в Национальном центре кибербезопасности Великобритании и порекомендовали экспертам не пытаться их «остановить», а смягчить возможные последствия. А Google и Anthropic решили сделать ставку на многоуровневую защиту и постоянное стресс-тестирование систем.
В OpenAI решили пойти своим путём и создали «автоматизированного злоумышленника на основе большой языковой модели». Это бот, который прошёл обучение с подкреплением и принял на себя роль хакера, постоянно пытающегося незаметно отправить ИИ-агенту вредоносные инструкции. Бот тестирует свои атаки в симуляциях, демонстрируя, как в тех или иных условиях рассуждает и действует целевой ИИ. Он изучает реакцию, корректирует схему атаки и повторяет свои попытки снова и снова. У посторонних доступ к настолько глубокому пониманию механизмов внутреннего мышления целевого ИИ отсутствует, поэтому в теории бот OpenAI должен находить уязвимости быстрее, чем реальные злоумышленники.
Источник изображения: Mariia Shalabaieva / unsplash.com
В одной из демонстраций бот подбросил в почтовый ящик пользователя «отравленное» электронное письмо. ИИ просканировал корреспонденцию, открыл это письмо, проследовал скрытым в нём инструкциям и отправил от имени пользователя заявление об увольнении вместо автоматического ответа о его отсутствии на рабочем месте. После обновления безопасности ИИ-агент, однако, успешно обнаружил попытку внедрения запроса и сообщил о ней пользователю. Если надёжной и полной защиты от таких атак не существует, отметили в компании, то приходится полагаться на масштабное тестирование и ускорять циклы обновления. О фактических успехах по сокращению числа реакций на внедрения запросов в OpenAI не сообщили, но отметили, что работа в этом направлении при участии сторонних специалистов началась ещё до выхода Atlas.
Угроза от ИИ-агентов может быть серьёзной: они обладают некоторой автономностью при наличии высокого уровня доступа, указывают опрошенные TechCrunch эксперты. Поэтому одних только методов обучения с подкреплением недостаточно — необходимо учитывать и указанные аспекты: ограничивать действия, которые ИИ-агент способен осуществлять от имени учётной записи пользователя, в которую произведён вход, а также запрашивать подтверждения перед тем, как сделать нечто важное. На эти аспекты указывают и рекомендации OpenAI для пользователей: Atlas запрашивает подтверждение перед отправкой сообщений или перед совершением платежей. Пользователям также рекомендовали давать ИИ-агентам конкретные инструкции, а не, например, открывать доступ к почте и разрешать «делать, всё что потребуется». «Даже при наличии мер защиты широкая свобода действий облегчает скрытому или вредоносному контенту воздействие на агента», — предупредили в OpenAI.
Источник:
