Сегодня 18 мая 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Языковые модели ИИ сразились друг с другом в импровизированном турнире по Street Fighter III

На хакатоне Mistral AI, прошедшем в Сан-Франциско на минувшей неделе, разработчики Стэн Жирар (Stan Girard) и Quivr Brain представили тест LLM Colosseum с открытым исходным кодом, основанный на классическом аркадном файтинге Street Fighter III. Тест предназначен для определения самой эффективной языковой модели ИИ в не совсем традиционной, но зрелищной манере.

 Источник изображений: YouTube / Matthew Berman

Источник изображений: YouTube / Matthew Berman

ИИ-энтузиаст Мэтью Берман (Matthew Berman) решил провести с помощь теста LLM Colosseum своеобразный турнир между языковыми моделями, о чём он поделился в своём видео. В нём же Берман показал один из поединков между ИИ. Кроме того, он рассказал, как можно установить этот проект с исходным кодом на домашний ПК или Mac и оценить его самостоятельно.

Это не совсем типичный тест LLM. Как правило, маленькие языковые модели имеют преимущество в задержке и скорости, что приводит к победе в большинстве виртуальных боёв. В файтингах очень важна скорость реакции игроков на ответные действия своих оппонентов. То же правило работает и в случае противостояния ИИ против ИИ.

 Источник изображений: OpenGenerativeAI team

Источник изображений: OpenGenerativeAI team

Языковая модель в реальном времени принимает решение, как ей сражаться. Поскольку LLM представляют собой текстовые модели, их обучили в игре Street Fighter III с помощью текстовых подсказок. ИИ сначала дали проанализировать контекст игры в целом, а затем подсказали, как реагировать на то или иное игровое действие в той или иной ситуации, не забыв про вариативность ходов. ИИ обучили приближаться или отдаляться от противника, а также использовать различные приёмы вроде огненного шара, мегаудара, урагана и мегаогненного шара.

 Источник изображения: OpenGenerativeAI team

Источник изображения: OpenGenerativeAI team

Продемонстрированный на видео бой между ИИ выглядит динамично. Оппоненты действуют стратегически, блокируют удары противника и используют специальные приёмы. Однако к настоящему моменту проект LLM Colosseum позволяет использовать только одного игрового персонажа, Кена.

Согласно тестам Жирара, лучшей языковой моделью в турнире Street Fighter III оказалась GPT 3.5 Turbo от OpenAI. Среди восьми участников она достигла самого высокого рейтинга ELO — 1776.

В отдельной серии тестов, организованных Банджо Обайоми (Banjo Obayomi), специалистом по продвижению продуктов AWS компании Amazon, спарринги проводились между четырнадцатью языковыми моделями в рамках 314 индивидуальных матчей. Здесь в конечном итоге победила языковая модель claude_3_haiku от Anthropic с рейтингом ELO 1613.

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
ChatGPT научился напрямую загружать файлы из «Google Диска» и Microsoft OneDrive 16 мин.
Twitter официально переехал на домен X.com 3 ч.
Google выпустил вторую бету Android 15 с «Личным пространством», предиктивным «Назад» и множеством других нововведений 11 ч.
Новая статья: Animal Well — колодец, из которого не хочется вылезать. Рецензия 11 ч.
В России готовы взяться за борьбу с серым импортом видеоигр 12 ч.
Microsoft начала веерные остановки подписок на свои облачные продукты для российских корпоративных клиентов 12 ч.
Лучше поздно, чем никогда: Arkane Austin всё-таки выпустит финальное обновление Redfall 13 ч.
МТС открыла магистратуру по искусственному интеллекту в Высшей школе экономики 15 ч.
Sony пригрозила 700 компаниям судом за несанкционированное использование музыки для обучения ИИ 15 ч.
Ubisoft отреагировала на слухи о требованиях Assassin's Creed Shadows к постоянному онлайн-подключению 16 ч.
Первый запуск Boeing Starliner с людьми снова перенесли — на космическом корабле обнаружили утечку гелия 20 мин.
Раскладушки Motorola Razr 50 и Razr 50 Ultra получат большие внешние экраны и свежие процессоры 28 мин.
Слухи: Apple готовит сверхтонкий iPhone 17 — он выйдет в 2025 году и будет дороже iPhone 17 Pro Max 9 ч.
Крупнейший в России оператор ЦОД и облачных услуг «РТК-ЦОД» готовится к IPO 13 ч.
Palit представит на Computex видеокарту с водоблоком и воздушной системой охлаждения 15 ч.
Роборуки от MIT помогут астронавтам NASA встать после падения на Луне 15 ч.
Xiaomi представила смартфон среднего уровня Redmi Note 13R — он почти идентичен Redmi Note 12R 15 ч.
AT&T и AST SpaceMobile обеспечат спутниковой связью обычные смартфоны сначала в США, а после — по всей Земле 15 ч.
TSMC будет выпускать основания для стеков HBM4 по 12- и 5-нм техпроцессам 17 ч.
LG свернула производство рулонных телевизоров Signature OLED R 17 ч.