«Просто ужасно»: ИИ-агент Meta✴ Muse сам влез в переписки Signal — и это лишь одна из его пугающих проблем

Читать в полной версии

Meta✴ делает большую ставку на ИИ-агента Muse, но его несанкционированные действия вызывают обеспокоенность среди сотрудников компании. Согласно внутренней переписке, он проникал в зашифрованные личные переписки, предоставлял вымышленные сведения о покупках и отправлял пользователям сообщения, предназначенные для других людей.

Источник изображения: Meta✴

Muse является одним из самых быстрорастущих приложений в истории: с момента запуска в сентябре его скачали более 10 млн раз. Но сотрудники компании обеспокоены тем, что он может раскрывать конфиденциальные данные пользователей. Например, одна из сотрудниц сообщила, что чат-бот Muse сослался на сообщение, которое она получила в зашифрованном мессенджере Signal.

В связи с этим агентство Reuters совместно со специалистами Signal и института AI Now Institute провело проверку, которая подтвердила проблему с конфиденциальностью у Muse. Боту предложили прочитать сообщения из Signal на различных операционных системах. На смартфоне Android и ноутбуке Apple бот смог обойти инструмент Meta✴ под названием Connector. Для этого он воспользовался разрешениями, предоставленными ему при первоначальной настройке. При попытке получить доступ на iPhone система заблокировала подобные действия.

В операционной системе macOS бот использовал сочетание функций обеспечения доступности (accessibility tools) и инструментов для создания скриншотов, применив настройки, созданные Apple для помощи людям с ограниченными возможностями.

Комментируя результаты проверки, президент Signal Мередит Уиттакер (Meredith Whittaker) призвала предоставить разработчикам приложений (таких, как Signal) «надёжные технические инструменты», позволяющие помечать свои программы как недоступные для ИИ-агентов.

Некоторые банки и ретейлеры отреагировали на эти риски блокировкой агентов. В свою очередь, Apple перекрыла лазейку, выявленную Reuters, ограничив в вышедшем на этой неделе обновлении возможности разработчиков по использованию инструментов доступности на компьютерах Mac.

Сотрудники компании также сообщали о случаях, когда Muse информировал пользователей о транзакциях, которых на самом деле не было, или называл несуществующие цены на товары, которые пользователи действительно приобретали и в результате несли финансовые потери.

Ещё больше вызывали тревогу случаи, когда бот отправлял пользователям странные, вырванные из контекста сообщения, зачастую с информацией о других пользователях. В связи с этим представитель команды Meta✴ по разработке «суперинтеллекта» в начале ноября предположил, что агент, по-видимому, «галлюцинирует» — генерирует вымышленные сообщения в ответ на встроенные команды. «К сожалению, эти “галлюцинации” чаще всего затрагивают наиболее чувствительные темы — финансы, безопасность, защищённость, — что просто ужасно», — отметил он. По его словам, команда работает над устранением проблемы, которая затрагивает как базовую ИИ-модель, так и программное обеспечение, позволяющее системе Muse совершать определённые действия.