Google представила игровой движок GameNGen на основе нейронной модели, который может воссоздать классическую Doom

На чём только не запускали Doom — калькуляторе, газонокосилке, внутри стандартных приложений Windows и не только. Но с помощью нескольких генеративных нейросетей? Такое с легендарным шутером от id Software происходит впервые.

Группа из четырёх бывших и нынешних сотрудников Google Research и Google DeepMind представила GameNGen — игровой движок на основе нейронной модели, способный создавать комплексные интерактивные сцены в высоком качестве.

GameNGen может интерактивно симулировать геймплей Doom при 20 кадрах/с. При прогнозировании следующего кадра показатель пикового отношения сигнала к шуму достигает 29,4 (сопоставим со сжатием JPEG с потерями).

Обучение GameNGen проходило в два этапа: на первом ИИ-агент играл в Doom (сессии записывались), а на втором диффузионная модель обучалась для создания следующего кадра, обусловленного последовательностью предыдущих и вводными командами.

Другими словами, GameNGen не генерирует игру на ходу, а лишь воспроизводит то, что уже видел. Вместо рендеринга нейронная модель создаёт последовательность кадров, которая изменяется в соответствии с действиями игрока.

Пока что GameNGen страдает от ряда ограничений вроде очень короткой памяти (немногим более трёх секунд) и различий в поведении агента (во время обучения) и реального игрока.

Хотя в настоящее время GameNGen далёк от идеала, его создатели надеются, что в будущем эти наработки помогут сделать процесс производства видеоигр менее дорогим и более доступным.