MWC 2018
2018
Computex
IFA 2018
В то время как большинство технологических компаний стремится расширить использование ИИ-технологий и ускорить внедрение ИИ-агентов, президент Signal Мередит Уиттакер (Meredith Whittaker) считает нужным предупредить о рисках, связанных с развитием ИИ.
Источник изображения: Steve Johnson/unsplash.com
В интервью ресурсу Fortune Уиттакер заявила, что рост числа ИИ-агентов представляет собой «экзистенциальную угрозу» не только для защищённых приложений для обмена сообщениями, таких как Signal, но и для всех, кто разрабатывает приложения для телефонов или компьютеров.
По её мнению, спешка технологических гигантов с внедрением ИИ, особенно агентского ИИ, повышает риски безопасности в интернете, которые значительно перевешивают потенциальные выгоды его применения.
Для выполнения задач от имени пользователя, ИИ-агентам требуется доступ к его конфиденциальной информации, включая банковские реквизиты и пароли. Однако это создаёт обширную новую «поверхность атаки», которую киберпреступники или спецслужбы могут использовать для кражи конфиденциальной личной или корпоративной информации.
ИИ-агенты особенно уязвимы к атакам с внедрением подсказок (Prompt injection), когда вредоносные веб-сайты содержат скрытые инструкции, которые обманным путём заставляют ИИ выполнять вредоносные действия. Поскольку веб-браузеры на базе ИИ способны читать веб-контент и выполнять с ним действия, злоумышленники потенциально могут, используя уязвимости ИИ, похищать электронную почту, получать доступ к учётным записям, изымать данные, перезаписывать буферы обмена и перенаправлять пользователей на фишинговые сайты.
«Работа агента заключается в том, что он выполняет сложные задачи от вашего имени, используя для этого множество источников данных, — сообщила Мередит Уиттакер в интервью Fortune в кулуарах технологической конференции Slush в Хельсинки (Финляндия), на прошлой неделе. — Ему потребуется доступ к вашим контактам и сообщениям в Signal… такой доступ — вектор атаки, который фактически сводит на нет смысл нашего существования».
Signal пользуется популярностью у журналистов и политиков благодаря его акценту на конфиденциальность и безопасность с поддержкой сквозного шифрования и сведением к минимуму сбора данных. Если ИИ-агенты получат нефильтрованный доступ к этим сообщениям через операционную систему, на которой работает Signal, злоумышленники смогут воспользоваться этой новой уязвимостью.
«Интеграция агентов на уровне операционной системы осуществляется крайне безрассудно и не учитывает основы кибербезопасности и конфиденциальности, — говорит Уиттакер. — Это очень и очень опасное архитектурное решение, которое ставит под угрозу не только Signal, но и возможность безопасной разработки на уровне приложений, а также возможность создания безопасной и целостной инфраструктуры».
Уиттакер также негативно оценила стремление разработчиков WhatsApp от Meta✴ и Facebook✴ Messenger использовать в мессенджерах функции ИИ. «Никто не хочет видеть ИИ в своих мессенджерах. Это действительно раздражает, — сказала она. — Если посмотреть на их пользу на уровне потребителя, мне не совсем ясно, оправдан ли этот компромисс… Для чего мы на самом деле оптимизируем эти вызывающие зевоту удобства?».
Источник:
