MWC 2018
2018
Computex
IFA 2018
Anthropic проверила, как автономные ИИ-агенты будут вести себя, столкнувшись с другими агентами, преследующими несовместимые цели. Эксперимент показал, что такая ситуация способна приводить не только к конфликтам и саботажу, но и к неожиданным способам сотрудничества.
Источник изображения: Grok
В одном из тестов три агента Claude получили доступ к одному программному проекту, но каждому из них были даны несовместимые инструкции. При этом модели не знали, что над тем же проектом работают другие агенты, поэтому исследователи смогли наблюдать за их реакцией при столкновении интересов. В результате агенты решили, что конкуренты намеренно мешают им выполнять поставленные задачи, после чего начали саботировать работу друг друга, используя агрессивный самораспространяющийся вредоносный код.
Anthropic пришла к выводу, что конфликт может усиливаться вместе с возможностями самих агентов. При этом реакция зависела от модели: Mythos 5 в 98 % случаев успешно распознавала, что причиной противостояния являются разные инструкции, а не враждебные намерения, и шла на перемирие. Модели Sonnet 4.6 и Opus 4.6, напротив, чаще продолжали эскалацию, игнорируя цели других участников. В успешных эпизодах примирения агенты удаляли созданный ими вредоносный код, объясняли причину конфликта и просили человека вмешаться.
Одним из способов завершения противостояния стал своеобразный турнир, который агенты самостоятельно предложили использовать для определения победителя. Все три участника согласились прекратить борьбу после проигрыша, хотя это означало отступление от первоначальных требований пользователя. В некоторых случаях, Mythos 5 при этом предлагала критерии, которые выглядели объективными для остальных участников, но были выгодны ей самой.
Исследование также показало, что увеличение числа агентов не обязательно приводит к более эффективной совместной работе. Когда задачи начинали пересекаться, участники часто мешали друг другу и в итоге отказывались от сотрудничества. Кроме того, агенты с одинаковыми моделями, контекстом и настройками часто принимали одинаковые решения, из-за чего единичная ошибка могла быстро распространиться на всю систему.
Похожая проблема проявилась и в эксперименте с ценообразованием: получив одинаковые оптовые цены и задачу максимизировать прибыль, несколько агентов почти сразу договорились о минимальном уровне цен через закрытый канал связи. После отключения прямого общения они продолжили согласовывать действия через открытую доску объявлений, подстраивая цены друг под друга до цента. Anthropic также предупреждает, что агенты могут некритично принимать ошибочную информацию от других участников, поэтому ошибка или скомпрометированный агент потенциально способны распространить неверные сведения на всю группу.
Исследователи связывают эти результаты с будущим распространением автономных агентов, которым предстоит одновременно работать в общих программных средах, компьютерных системах и рынках. В отличие от людей, ИИ-агенты пока не обладают сложившимися нормами, репутацией и другими механизмами, которые помогают ограничивать последствия конфликтов и ошибок. Поэтому при их масштабном взаимодействии разработчикам придётся учитывать не только поведение каждого отдельного участника, но и неожиданные правила взаимодействия, которые ИИ-системы на сегодняшний уже способны создавать самостоятельно.
Источник:
