NVIDIA анонсировала технологию интеллектуального масштабирования изображения DLSS 3.5, важнейшим преимуществом которой стала реконструкция трассировки лучей (Ray Reconstruction) — нейросеть, заменяющая стандартные алгоритмы шумоподавления.

Источник изображений: nvidia.com

Трассировка лучей для каждого пикселя на изображении — чрезвычайно требовательная к ресурсам задача даже для профессиональных приложений, от которых не требуется обработка данных в реальном времени. Поэтому применяются обходные методы, такие как просчёт лучей по образцам: трассировка производится для отдельных точек сцены, число которых достаточно велико для получения репрезентативной выборки освещения, отражательной способности и затемнённых участков.

Алгоритмы подавления шума чреваты потерей качества и детализации

На выходе получается сильно зашумлённое изображение, но его достаточно, чтобы оценить, как должна выглядеть сцена при полноценной трассировке лучей. Чтобы получить результаты по всем пикселям, производится временная и пространственная интерполяции — по сути, алгоритм шумоподавления «крадёт» лучи из прошлого и смешивает пиксели с соседними, что чревато понижением качества картинки, например, возникновением «ореолов», и потерей детализации.

Ray Reconstruction обладает рядом преимуществ перед шумоподавителями

Решением проблемы является технология реконструкции лучей — она подменяет стандартные подавители шума нейросетью, при обучении которой использовалось в пять раз больше данных, чем при разработке DLSS 3, а образцами служили изображения, получение которых в реальном времени было бы невозможным. Нейросеть распознаёт различные эффекты трассировки лучей, принимая более разумные решения для интерполяции по времени и пространству — она обучена различать «плохие» и «хорошие» пиксели, благодаря чему обеспечивается более качественный результат.

Технология работает совместно с другими решениями NVIDIA: алгоритмом DLSS Super Resolution, который выстраивает 4K-изображения по образцу более низкого разрешения, а также DLSS Frame Generation (только для видеокарт серии NVIDIA GeForce RTX 40) — он генерирует дополнительные промежуточные кадры на основе соседних, повышая тем самым плавность движения.

Дебют NVIDIA DLSS 3.5 состоится этой осенью. Технология дебютирует в играх Cyberpunk 2077: Phantom Liberty, Portal with RTX и Alan Wake 2, а также в программах NVIDIA Omniverse, Chaos Vantage и D5 Renderer.

Технологии масштабирования изображения NVIDIA DLSS, AMD FSR и Intel XeSS, поддерживающиеся современными видеокартами соответствующих производителей, могут значительно повысить производительность в играх без серьёзных компромиссов в качестве. Однако большинство игр не поддерживают все три технологии сразу. Но проблема заключается не в технологических особенностях каждой из этих технологий, как могло бы показаться на первый взгляд, а в маркетинге.

Источник изображения: NVIDIA

По словам Нико ван Бентума (Nico van Bentum), программиста графики из компании Nixxes Software, реализовать поддержку сразу всех трёх апскейлеров в той или иной игре на самом деле несложно, поскольку все три API очень похожи между собой. Именно поэтому энтузиасты и моддеры имеют возможность самостоятельно добавлять поддержку DLSS и XeSS в игры с FSR 2 или наоборот.

«У нас есть относительно простая оболочка вокруг DLSS, FSR2 и XeSS. Все три API сегодня настолько похожи друг на друга, что на самом деле оправданий [не добавлять их все в одну игру] нет», — заявил разработчик Nixxes Software на своей странице в Twitter.

Одна из самых ожидаемых игр этого года, Starfield от Bethesda, похоже, не получит официальную поддержку технологии NVIDIA DLSS 3, поскольку AMD договорилась с разработчиком игры по вопросу её оптимизации для видеокарт Radeon. Однако в этом вопросе на помощь готов прийти моддер PureDark, который ранее весьма успешно интегрировал поддержку DLSS 3 в игры, которые эту технологию официально не поддерживают. К настоящему моменту энтузиаст самостоятельно «встроил» поддержку технологии масштабирования NVIDIA в такие игры, как Elden Ring и Star Wars Jedi: Survivor.

Недавняя новость о партнёрстве Bethesda с AMD для предстоящего релиза Starfield с большой долей вероятности означает, что поддержку масштабирования NVIDIA DLSS 3 амбициозная космическая ролевая игра не получит. На выручку владельцам видеокарт серии GeForce RTX 4000 пришёл неожиданный герой.

Источник изображений: Bethesda Softworks

Речь идёт о набравшем популярность в последние месяцы моддере PureDark, наловчившемся с интеграцией DLSS 3 в игры, которые эту технологию официально не поддерживают: таким образом энтузиаст уже помог увеличить производительность в Elden Ring и Star Wars Jedi: Survivor.

Отдельного упоминания заслуживает опыт работы PureDark с технологиями Bethesda. Моддер также успел реализовать поддержку DLSS 3 в двух новейших (до выхода Starfield) однопользовательских релизах от Bethesda Game Studios — фэнтезийной ролевой игре The Elder Scrolls V: Skyrim и постапокалиптическом шутере Fallout 4.

Каково же было ликование сообщества, когда вскоре после анонса Bethesda и AMD моддер объявил о планах по добавлению DLSS 3 в Starfield. Произойдёт это в кратчайшие сроки — за время пятидневного раннего доступа, который полагается предзаказавшим премиальное издание. После релиза PureDark добавит в игру ещё и DLSS 2.

Покупателям премиального издания Starfield станет доступна 1 сентября, а для всех остальных разблокируется 6-го. Игра разрабатывается для PC (Steam, Microsoft Store), Xbox Series X и S, а также Game Pass (PC и Xbox), хотя до поглощения ZeniMax Media компанией Microsoft планировалась к релизу и на PS5.

NVIDIA выпустила обновление 3.1.13 для SDK DLSS. В него были внесены некоторые изменения, предназначенные для расширения визуальных возможностей игр, в которых реализована технология NVIDIA DLSS. Например, появилась поддержка специального режима сглаживания без масштабирования.

Источник изображений: NVIDIA

В новой версии DLSS SDK компания добавила новый режим — DLAA (Deep Learning Anti-Aliasing), который можно будет выбрать в меню DLSS после его добавления разработчиком игры. DLAA улучшит изображение с помощью сглаживания, но при этом картинка не будет масштабироваться, как это происходит в других режимах DLSS. Таким образом DLSS сможет предложить пять режимов работы: «Ultra-Performance Mode» (максимальная производительность), «Performance Mode» (производительность), «Balanced Mode» (баланс качества и производительности), «Quality Mode» (качество) и «DLAA» (сглаживание без масштабирования). Необходимый инструментарий NVIDIA опубликовала в своём репозитории на сайте GitHub.

Кроме того, в описании обновления SDK обнаружен неизвестный пресет с литерой G, предназначенный для игрового движка Unreal Engine. В настоящее время он не используется, и у него нет описания. Возможно, Preset G будет добавлен в одном из следующих обновлений. Компания также без подробностей сообщила, что исправила в новой версии SDK DLSS некоторые ошибки и баги.

С выходом технологии DLSS третьей версии она обзавелась функцией генерации кадров, которая значительно повышает производительность графики в играх, особенно тех, которые интенсивно используют возможности GPU, включая ту же Cyberpunk 2077. В перспективе всё больше игр получат поддержку данной технологии. Так, поддержку генерации кадров в ближайшее время получит игра Ratchet & Clank: Rift Apart, которая выйдет на ПК спустя два года с момента релиза на игровой консоли PlayStation 5. Её выход ожидается 26 июля.

Компания NVIDIA объявила о достижении своей технологией интеллектуального масштабирования изображения DLSS новой вершины охвата — теперь апскейлер задействован более чем в 300 играх и приложениях.

Источник изображений: NVIDIA

Напомним, NVIDIA DLSS дебютировала в феврале 2019 года с версией 1.0, до 2.0 обновилась в апреле 2020-го, а до 3.0 — в сентябре 2022-го. Технология доступна лишь владельцам видеокарт RTX (RTX 40-й серии в случае с DLSS 3).

К 300 играм и приложениям с поддержкой DLSS масштабирование NVIDIA, таким образом, шло чуть больше четырёх лет. Отметку в 150 проектов технология преодолела в феврале 2022-го, а в январе 2023-го достигла вершины в 250 продуктов.

Игр с поддержкой конкретно DLSS 3 насчитывается уже более трёх десятков

Ранее на этой неделе поддержку DLSS 3 получило приложение D5 Render, а на релизе интеграция с этой технологией ждёт постапокалиптический MMO-шутер Ashfall (см. дебютный геймплейный трейлер ниже).

От предыдущих версий апскейлера DLSS 3 отличает технология Frame Generation, которая базируется на ускорителе оптического потока (есть только на картах RTX 40-й серии) и обеспечивает умение самостоятельно строить дополнительные кадры.

Что касается DLSS 2, то с ней вышли две игры в раннем доступе Steam — кооперативный хоррор The Outlast Trials (дебютировал 18 мая) и шутер на выживание Voidtrain (8 мая). Также патч с DLSS 2 выпустили для автобусного симулятора Bus Simulator 21.

Напомним, DLSS использует технологии машинного обучения для интеллектуального масштабирования изображения на лету, что позволяет повысить производительность без существенного снижения качества изображения.