ИИ-агент Meta✴ во время тестов начал самовольничать — менял пароли и отправлял письма от имени пользователей

Компания Meta✴ провела внутреннее тестирование нового персонального ИИ-агента Hatch, который будет представлен в ближайшие недели. Как сообщает The Information, агент повёл себя непредсказуемо, выполняя совсем другие действия вместо предписанных.

В частности, вместо того, чтобы забронировать номер в отеле, ИИ-агент перевёл баллы, накопленные на туристическом сайте, на счёт другого отеля. Hatch также отправлял электронные письма без разрешения пользователя и менял пароли на сайтах управления здоровьем. Когда в рамках теста у агента запросили по электронной почте пароль к определённому веб-сайту — личной информации пользователя — он его предоставил.

Hatch — разрабатываемый Meta✴ потребительский ИИ-агент, который должен стать более массовым аналогом OpenClaw. В отличие от обычного чат-бота, он сможет самостоятельно выполнять многоэтапные задачи от имени пользователя: работать с сайтами и приложениями, искать информацию, заполнять формы, планировать поездки и встречи. Для этого агенту можно будет предоставить доступ к личной почте, календарю и другим сервисам, поэтому ошибки при выполнении подобных действий потенциально могут иметь куда более серьёзные последствия, чем неверный ответ обычного чат-бота.

Во избежание в дальнейшем проблем Meta✴ внедрила механизм безопасности, называемый «жёстким шлюзом» (hard gate). При попытке Hatch выполнить конфиденциальные действия, такие как отправка электронных писем, использование браузера или доступ к внешним сетям, механизм должен приостановить выполнение задачи до подтверждения пользователем.

Конфиденциальная информация, включая ссылки для сброса пароля и коды двухфакторной аутентификации, блокируется для немедленного доступа Hatch. При необходимости он сможет извлечь такие данные из отдельного хранилища учётных данных только после авторизации пользователя. Веб-сайты, к которым Hatch обращается или которые рекомендует, проверяются по чёрному списку Meta✴ на предмет мошенничества. Кроме того, компания проводит внешние стресс-тесты с другими фирмами по обеспечению безопасности.

В связи со стремительным развитием ИИ-агентов, растут опасения по поводу угрозы безопасности, которую они могут представлять. Компании в сфере ИИ-технологий, всё больше делают акцент на мерах безопасности для предотвращения сбоев или несанкционированных действий при выпуске новых продуктов. Например, компания OpenAI представляя модель следующего поколения Astra, подчеркнула, что в ней значительно усилена защита от киберугроз.