Классический платформер Super Mario Bros. стал настоящим испытанием для ИИ

Сравнительный анализ моделей ИИ крайне непрост, а их создателей часто обвиняют в предвзятости, пристрастности и усложнении понимания результатов тестов для обычных людей. Поэтому вместо того чтобы зацикливаться на абстрактных математических и логических испытаниях, исследователи предложили протестировать ИИ при помощи классического платформера Super Mario Bros. от Nintendo.

Источник изображения: Hao AI Lab

В эксперименте использовалась эмулированная версия Super Mario Bros., которая была интегрирована с пользовательским фреймворком GamingAgent от исследователей Hao AI Lab из Калифорнийского университета в Сан-Диего. Эта система позволяла моделям ИИ управлять Марио, генерируя код Python. Все модели получали одинаковые базовые инструкции вроде «Перепрыгни через этого врага», а также визуализации состояния игры в виде скриншотов.

Хотя со стороны Super Mario Bros. кажется простым двухмерным платформером, исследователи обнаружили, что классическая игра Nintendo бросает серьёзный вызов ИИ, заставляя планировать сложные последовательности движений и на лету адаптировать стратегии игрового процесса.

Лучшей моделью в освоении Super Mario Bros. исследователи признали Claude 3.7 от Anthropic, которая продемонстрировала впечатляющие рефлексы, связав точные прыжки и умело избегая врагов. Её предшественница, Claude 3.5, также показала достойные результаты, тогда как GPT-4o от OpenAI и Gemini 1.5 Pro от Google отстали от конкурентов.

Как оказалось, логическое мышление не является ключом к успеху в Super Mario Bros. — важен расчёт времени. Даже небольшая задержка может отправить Марио на предыдущую контрольную точку. Исследователи предполагают, что более «сознательные» и склонные к рассуждению модели, вероятно, слишком долго рассчитывали следующие шаги, что приводило к частым неудачам.

Конечно, использование ретроигр для оценки ИИ — это по большей части эксперимент. Способность ИИ победить Super Mario Bros. не определяет степень его реальной пользы, хотя наблюдать, как обученные на миллиардах параметров модели сражаются (и часто проигрывают) с детской, казалось бы, игрой несомненно увлекательно.

Для желающих поставить самостоятельный эксперимент Hao AI Lab открыла исходный код своей GamingAgent на GitHub.