На хакатоне Mistral AI, прошедшем в Сан-Франциско на минувшей неделе, разработчики Стэн Жирар (Stan Girard) и Quivr Brain представили тест LLM Colosseum с открытым исходным кодом, основанный на классическом аркадном файтинге Street Fighter III. Тест предназначен для определения самой эффективной языковой модели ИИ в не совсем традиционной, но зрелищной манере.

Источник изображений: YouTube / Matthew Berman

ИИ-энтузиаст Мэтью Берман (Matthew Berman) решил провести с помощь теста LLM Colosseum своеобразный турнир между языковыми моделями, о чём он поделился в своём видео. В нём же Берман показал один из поединков между ИИ. Кроме того, он рассказал, как можно установить этот проект с исходным кодом на домашний ПК или Mac и оценить его самостоятельно.

Это не совсем типичный тест LLM. Как правило, маленькие языковые модели имеют преимущество в задержке и скорости, что приводит к победе в большинстве виртуальных боёв. В файтингах очень важна скорость реакции игроков на ответные действия своих оппонентов. То же правило работает и в случае противостояния ИИ против ИИ.

Источник изображений: OpenGenerativeAI team

Языковая модель в реальном времени принимает решение, как ей сражаться. Поскольку LLM представляют собой текстовые модели, их обучили в игре Street Fighter III с помощью текстовых подсказок. ИИ сначала дали проанализировать контекст игры в целом, а затем подсказали, как реагировать на то или иное игровое действие в той или иной ситуации, не забыв про вариативность ходов. ИИ обучили приближаться или отдаляться от противника, а также использовать различные приёмы вроде огненного шара, мегаудара, урагана и мегаогненного шара.

Источник изображения: OpenGenerativeAI team

Продемонстрированный на видео бой между ИИ выглядит динамично. Оппоненты действуют стратегически, блокируют удары противника и используют специальные приёмы. Однако к настоящему моменту проект LLM Colosseum позволяет использовать только одного игрового персонажа, Кена.

Согласно тестам Жирара, лучшей языковой моделью в турнире Street Fighter III оказалась GPT 3.5 Turbo от OpenAI. Среди восьми участников она достигла самого высокого рейтинга ELO — 1776.

В отдельной серии тестов, организованных Банджо Обайоми (Banjo Obayomi), специалистом по продвижению продуктов AWS компании Amazon, спарринги проводились между четырнадцатью языковыми моделями в рамках 314 индивидуальных матчей. Здесь в конечном итоге победила языковая модель claude_3_haiku от Anthropic с рейтингом ELO 1613.

Сегодня начался первый в истории крупный турнир по Counter-Strike 2 — IEM Sydney 2023. И в первый же день он отметился двумя поистине сенсационными новостями. Звезда киберспорта Александр «S1mple» Костылев из команды Natus Vincere не смог принять участие в турнире, вместо него играет тренер команды. А занимающая первую строчку рейтинга HLTV команда Vitality уже закончила выступление после двух поражений подряд. И ещё отличился российский состав BetBoom.

Источник изображений: hltv.org

После четырёхлетнего перерыва киберспортивный турнир Intel Extreme Masters вернулся в Сидней, что в Австралии. Он пройдёт с 16 по 22 октября и станет первой демонстрацией на мировом уровне игрового процесса киберспортивного шутера Counter-Strike 2, наследника Counter-Strike: Global Offensive.

16 участвующих команд были определены с помощью комбинации партнёрских приглашений, положения в рейтинге ESL и квалификационных турниров. Среди наиболее заметных упущений — Heroic и Astralis, которые отказались от участия и стали единственными отсутствующими на турнире командами из топ-10 HLTV.

Группа A:

• Vitality (ЕС)
• MOUZ (ЕС)
• Natus Vincere (ЕС)
• FaZe (ЕС)
• GamerLegion (ЕС)
• Apeks (ЕС)
• BetBoom (Россия)
• VERTEX (Австралия)

Группа B:

• ENCE (ЕС)
• G2 (ЕС)
• Monte (Украина)
• Cloud9 (Россия)
• Complexity (США)
• fnatic (ЕС)
• Lynn Vision (Китай)
• Grayhound (Австралия)

На первом этапе команды, разделённые на две группы сыграют по системе с выбыванием после двух поражений, а затем три лучшие команды из каждой группы сразятся в плей-офф — команда-победитель из каждой группы выйдет напрямую в полуфинал, а команды, занявшие второе и третье места, встретятся в четвертьфинале.

Расписание матчей довольно неудобно для жителей Европы: в понедельник первая игра началась в 04:30 мск, во вторник и среду начало встреч назначено на 05:30 мск, четвертьфиналы и полуфиналы в пятницу и субботу начнутся в 08:30 мск, а гранд-финал можно будет посмотреть в воскресенье в 10:30 мск. Последние матчи первых пяти игровых дней запланированы на 11:30 мск.

Первый игровой день ознаменовался двумя громкими новостями. Лучший киберспортсмен мира в Counter-Strike Александр «S1mple» Костылев из команды Navi не примет участие в турнире, его заменил тренер команды Андрей «B1ad3» Городенский. Это известие вызвало серьёзное разочарование поклонников и породило массу дискуссий о причинах такого решения. Наиболее реалистичной версией являются визовые проблемы, хотя фанаты высказывали и значительно более резкие теории. Невзирая на потерю лучшего бойца, после первых двух игр Natus Vincere с одной победой и одним поражением сохраняет шансы на выход в плей-офф.

Второй не менее шокирующей новостью стал вылет в первый же день команды Vitality, последние два месяца занимавшей первую строчку официального рейтинга HLTV. Другой командой, не пережившей первый день турнира, стала австралийская VERTEX.

Также отметим неожиданный успех команды BetBoom, которая выиграла две встречи и уже гарантировала себе выход в плей-офф. Команда была собрана ранее в этом году и прежде не участвовала в турнирах подобного уровня. Тем не менее, состав вобрал в себя опытных российских игроков, так что у них есть шансы заявить о себе ещё громче. Результаты всех игр первого дня сведены в таблицу ниже:

Необходимо отметить, что принадлежность команды к той или иной стране и, соответственно, флаг под которым она выступает, определяется элементарным численным большинством (минимум три спортсмена с одинаковым гражданством) и к политике не имеет никакого отношения. Большинство команд из-за смешанного состава выступают под флагом ЕС.