Классический платформер Super Mario Bros. стал настоящим испытанием для ИИ

Сравнительный анализ моделей ИИ крайне непрост, а их создателей часто обвиняют в предвзятости, пристрастности и усложнении понимания результатов тестов для обычных людей. Поэтому вместо того чтобы зацикливаться на абстрактных математических и логических испытаниях, исследователи предложили протестировать ИИ при помощи классического платформера Super Mario Bros. от Nintendo.

Компьютер месяца, спецвыпуск: выбираем мини-ПК для работы и развлечений в эпоху дефицита чипов памяти

Мастерская локальных ИИ: салат картофельный с Qwen3.8

Гид по выбору складного смартфона в 2026 году

Выбираем лучшие игровые ноутбуки на российском рынке (вторая половина 2026 года)

Топ-10 смартфонов до 20 тысяч рублей (2026 год)

Сравнительный тест камер флагманских смартфонов (2026): итоги

Лучший процессор под DDR4 в 2026 году: AM4 против LGA 1700

Групповое тестирование 46 видеокарт в The Witcher 3: Wild Hunt — Remastered

Обзор HONOR Pad X9b Max: универсальный большой планшет с антибликовым экраном

Источник изображения: Hao AI Lab

В эксперименте использовалась эмулированная версия Super Mario Bros., которая была интегрирована с пользовательским фреймворком GamingAgent от исследователей Hao AI Lab из Калифорнийского университета в Сан-Диего. Эта система позволяла моделям ИИ управлять Марио, генерируя код Python. Все модели получали одинаковые базовые инструкции вроде «Перепрыгни через этого врага», а также визуализации состояния игры в виде скриншотов.

Хотя со стороны Super Mario Bros. кажется простым двухмерным платформером, исследователи обнаружили, что классическая игра Nintendo бросает серьёзный вызов ИИ, заставляя планировать сложные последовательности движений и на лету адаптировать стратегии игрового процесса.

Лучшей моделью в освоении Super Mario Bros. исследователи признали Claude 3.7 от Anthropic, которая продемонстрировала впечатляющие рефлексы, связав точные прыжки и умело избегая врагов. Её предшественница, Claude 3.5, также показала достойные результаты, тогда как GPT-4o от OpenAI и Gemini 1.5 Pro от Google отстали от конкурентов.

Как оказалось, логическое мышление не является ключом к успеху в Super Mario Bros. — важен расчёт времени. Даже небольшая задержка может отправить Марио на предыдущую контрольную точку. Исследователи предполагают, что более «сознательные» и склонные к рассуждению модели, вероятно, слишком долго рассчитывали следующие шаги, что приводило к частым неудачам.

Конечно, использование ретроигр для оценки ИИ — это по большей части эксперимент. Способность ИИ победить Super Mario Bros. не определяет степень его реальной пользы, хотя наблюдать, как обученные на миллиардах параметров модели сражаются (и часто проигрывают) с детской, казалось бы, игрой несомненно увлекательно.

Для желающих поставить самостоятельный эксперимент Hao AI Lab открыла исходный код своей GamingAgent на GitHub.