MWC 2018
2018
Computex
IFA 2018
Технические специалисты AMD рассказали о разработанном ими методе покадровой генерации изображений при помощи ИИ для замены глобального освещения в реальном времени. Метод называется «Временно стабильное генеративное освещение с помощью одношаговой модели диффузии». Идея заключается в имитации глобального освещения посредством генерации изображений, а не с помощью ресурсоёмких вычислительных методов, таких как трассировка лучей.
Источник изображения: AMD
Ранее в этом году Джек Хуинь (Jack Huynh) из AMD анонсировал новый набор технологий FSR Diamond. Он включает в себя описанный в статье «нейронный рендеринг следующего поколения», наряду с улучшенным масштабированием и многокадровой генерацией на основе машинного обучения, регенерацией лучей и трассировкой путей.
«В нашей работе мы пытаемся решить проблему глобального освещения как задачу генерации изображений, — пояснил один из разработчиков Сунге Ким (SungYe Kim). — Глобальное освещение — это то, что делает сцену реалистичной, и это также самая затратная часть рендеринга». Предложенный метод использует кадр с прямым освещением, направленным непосредственно от источника к объекту без дальнейших отражений — в качестве первоначальной подсказки для модели Stable Diffusion 2.1 Turbo.
Модель обучена на синтетическом наборе данных из 31 000 кадров заранее отрендеренных интерьерных сцен. Каждый кадр содержит от 1 до 30 источников света и движущихся объектов. Таким образом, по словам разработчиков, «модель видит широкий диапазон условий освещения». Обучение включает в себя 50-кратное прохождение этого набора данных на графических процессорах AMD Instinct MI210.
Разреженные сигналы освещения, яркости, материала и геометрии используются для обеспечения согласованности генерации с параметрами помещения и освещением. Кадр обрабатывается таким образом, чтобы заставить модель сосредоточиться именно на освещении. Исследователи также используют так называемый временной VAE, или TVAE, для повышения согласованности. Он использует векторы движения для выравнивания текущего кадра с предыдущими и хранит историю предыдущих результатов, чтобы гарантировать отсутствие мерцания и других визуальных артефактов.
Разработчики утверждают, что их метод «восстанавливает мягкие тени и отражённое освещение», в то время как другие подобные технологии «создают галлюцинации» и «искажают геометрию». Сообщается, что на видеокарте RTX 3090 модель работает со скоростью 0,29 секунды на кадр, что составляет примерно 3,45 кадра в секунду при разрешении 512 x 512 пикселей и загрузке около 8–9 Гбайт видеопамяти. Учитывая, что это только этап глобального освещения, а не весь конвейер рендеринга кадра, до реального применения этого метода геймерами, похоже, ещё далеко.
Источник:
