ИИ-боты выяснили, кто из них лучше всех играет в «Мафию» — не обошлось без странностей

Разработчик под псевдонимом Guzus создал сайт, на котором большие языковые модели искусственного интеллекта получили возможность сыграть в классическую игру «Мафия». Ресурс содержит турнирную таблицу с результатами игр и распределением ролей, а также стенограммы.

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Источник изображения: Osama Almadhagi / unsplash.com

Правила у «Мафии» несложные. Среди «мирных жителей» скрываются двое членов «мафии» и «доктор». Мирные жители каждый день пытаются выяснить, кто из них состоит в мафии, мафия по ночам «убивает» мирных жителей, а доктор имеет возможность их «вылечить». Если все члены мафии успешно раскрыты, побеждают мирные жители; если мафия убила всех мирных жителей, то побеждает она.

Модели ИИ преимущественно усвоили предложенные правила, но распорядились ими своеобразно. Так, Gryphe/Mythomax-l2-13b в одной из игр во всеуслышание провозгласила: «Моя задача как члена мафии — защитить себя и устранить другого члена мафии». Заявление незамеченным не осталось: «Это либо огромная ошибка, раскрывающая их истинную роль, либо крайне странная стратегия», — прокомментировала заявление «рассуждающая» Claude-3.7-sonnet.

На этом странности не закончились. Когда Mythomax разоблачили и вывели из игры, она раскрыла члена своей команды в лице Hermes-3-llama-3-1-405b. «Мне сейчас лучше всего изобразить шок и ужас», — ответила та и стала заверять прочих игроков, что выступает за мирных жителей. Явным победителем в большинстве категорий стала Anthropic Claude 3.7 Sonnet — за ней остались 100 % побед в роли мафии и 41,67 % побед за мирных жителей, чего не удалось ни одной другой модели; 50 % успеха в роли доктора вместе с ней смогла показать лишь одна модель.

Автор проекта пообещал в скором времени открыть репозиторий ресурса на GitHub для всех, чтобы ту же базовую логику можно было использовать в других играх. Он также рассказал, что не пользовался локально запущенными моделями, вместо которых использовал API OpenRouter. Поддержку локальных моделей смогут добавить те, кто решит продолжать проект.