MWC 2018
2018
Computex
IFA 2018
Команда исследователей из Microsoft Research совместно с учёными из Университета штата Аризона (Arizona State University) создала симулятор торговой площадки для тестирования поведения автономных ИИ-агентов. Первые эксперименты, как стало известно изданию TechCrunch, выявили неожиданные уязвимости: агенты оказались склонны к манипуляциям и теряли эффективность при большом количестве вариантов выбора.
Источник изображения: AI
Симулятор под названием Magentic Marketplace предназначен для изучения поведения автономных ИИ-агентов в условиях рыночного взаимодействия. В типичном сценарии эксперимента агент-покупатель должен был выполнить заказ ужина в соответствии с инструкциями пользователя, в то время как агенты, представляющие различные рестораны, соревновались между собой за получение этого заказа.
В ходе экспериментов, в которых участвовали 100 клиентских агентов и 300 агентов-представителей бизнеса и использовались ведущие ИИ-модели, включая GPT-4o, GPT-5 и Gemini-2.5-Flash, было обнаружено, что бизнес-агенты могут успешно манипулировать поведением клиентских агентов, побуждая их делать покупки в пользу определённых предложений. Особенно заметным оказался эффект перегрузки, когда при увеличении количества доступных вариантов клиентские агенты теряли эффективность, поскольку их пространственный модуль внимания (attention space) оказывался переполненным.
Эче Камар (Ece Kamar), управляющий директор лаборатории AI Frontiers Lab в Microsoft Research, пояснила, что хотя ИИ-агенты и должны были помогать пользователям обрабатывать большое количество опций, на практике текущие модели справляются с этим пока плохо. Кроме того, при попытках совместной работы над общей целью агенты не могли самостоятельно определить, кто из них должен выполнять какую роль. Эффективность взаимодействия возрастала лишь тогда, когда им давали чёткие пошаговые инструкции, однако исследователи считают, что базовые способности к кооперации должны быть встроены в такие модели по умолчанию.
Камар отметила, что подобные исследования крайне важны для понимания того, как ИИ-агенты будут функционировать в условиях автономной работы. По её словам, ключевой вопрос заключается в том, как изменится мир, если агенты начнут активно взаимодействовать, вести переговоры и сотрудничать друг с другом без прямого контроля человека.
Исходный код платформы размещён в открытом доступе, что позволяет другим исследовательским группам использовать его для проведения независимых экспериментов.
Источник:
