Tencent призналась, что её ИИ-агенты ушли в самоволку во время тестов

Компания Tencent сообщила, что ИИ-агенты, использовавшиеся для оценки сторонних моделей, продемонстрировали в интернете поведение, которое не было предусмотрено разработчиками. В связи с этим компания усилила контроль доступа к сетевым ресурсам, а также действий ИИ-агентов.

Как отметило агентство Reuters, этот первый известный случай, когда крупная китайская технологическая компания признала факт несанкционированных действий со стороны ИИ-агентов.

Вместе с тем, Hunyuan — подразделение Tencent, отвечающее за ИИ-разработки — сообщило в социальной сети X, что данная активность не исходила от моделей компании. Разработчики отметили, что, согласно результатам внутренней проверки, никаких признаков целенаправленных действий или координации ИИ-моделей обнаружено не было.

Заявление Tencent поступило спустя несколько дней после публикации отчёта исследовательской группы Swarmchasers, занимающейся вопросами безопасности ИИ. В нём сообщается, что неконтролируемые агенты, работавшие на инфраструктуре, связанной с Tencent Cloud, в период с 28 сентября по 8 октября неоднократно пытались получить данные из принадлежащего Alibaba картографического сервиса Amap — китайского аналога Google Maps.

Действия китайских ИИ-агентов не столь серьёзны, как, например, взлом платформы Hugging Face агентами OpenAI, или ложное сообщение об убийстве, отправленное агентом компании Anthropic. Тем не менее, этот случай подтверждает результаты исследований, согласно которым китайские ИИ-агенты также способны лгать, маскировать сбои в работе и пытаться обойти механизмы контроля при тестировании.

Hunyuan — один из ведущих разработчиков ИИ-моделей в Китае, конкурирующий с такими компаниями, как Alibaba и ByteDance. На этой неделе ByteDance объявила о создании нового подразделения, которое будет заниматься вопросами безопасности моделей и ИИ-агентов.