Смартфоны тоже начнут дорисовывать кадры в играх — Arm представила Mali G2 NX с ИИ-реконструкцией графики

Arm представила графические процессоры, которые потенциально способны обеспечить значительное повышение качества графики на смартфонах. Предложенное решение способно обеспечить вывод высококачественной графики на мобильных системах с ограниченным потреблением энергии — для этого будут использоваться алгоритмы искусственного интеллекта.

Современные смартфоны по сравнению с ПК значительно ограничены в энергоресурсах — на графику выделяются лишь 1 или 2 Вт, но и в рамках этих ресурсов требуется постоянно повышать качество картинки на выходе, использовать текстуры высокого разрешения, технологии трассировки лучей и пути. В Arm с новой графической платформой Mali G2 NX подошли к решению проблемы радикально, предложив отвести под нативный рендеринг лишь одну восьмую часть ресурсов, а оставшиеся семь восьмых передать алгоритмам реконструкции картинки с помощью ИИ. На них предложено перевести три задачи в играх: Neural Super Sampling (NSS), Neural Frame Rate Upscaling (NFRU) и Neural Super Sampling and Denoising (NSSD).

Технология NSS предполагает отрисовку кадра в низком разрешении и его масштабирование при помощи ИИ — к примеру, четырёхкратное с 540p до 1080p. Для восстановления картинки с высоким разрешением используются векторы движения, информация о глубине и изображения из предыдущих кадров — это помогает попутно решать такие задачи как временная стабильность и сглаживание. В результате вдвое сокращаются требуемая пропускная способность DRAM и энергопотребление на кадр.

Технология NSSD предназначается для обеспечения трассировки лучей в реальном времени с помощью ИИ, позволяя сократить число лучей на пиксель на мобильных устройствах.

NFRU предполагает генерацию новых кадров на основе данных о двух соседних. Алгоритм анализирует два фактически отрисованных кадра, предыдущий и последующий, с информацией об их цвете, глубине и движении и генерирует промежуточный. В графический процессор интегрирован нейроускоритель, отрабатывающий механизмы движения и определяющий фактическое движение объектов между двумя изображениями. Эта технология аналогична генераторам кадров в составе Nvidia DLSS и AMD FSR.

Графика Arm Mali G2 NX реализуется в трёх вариантах:

• Mali G2-Ultra NX — 10 и более шейдерных ядер, 6 или более нейроускорителей, блок трассировки лучей в каждом шейдерном ядре;
• Mali G2-Premium (NX) — от 6 до 9 шейдерных ядер; возможность интеграции нейроускорителей, но не больше, чем шейдерных ядер; возможность устанавливать блоки трассировки лучей;
• Mali G2-Pro (NX) — от 1 до 5 шейдерных ядер; возможность интеграции нейроускорителей, но не больше, чем шейдерных ядер; возможность устанавливать блоки трассировки лучей.

Среди прочих нововведений значатся блок трассировки лучей третьего поколения, предполагающий совместный просчёт общих рёбер у треугольников, что позволяет использовать в кэше больше полезной информации и уменьшать объём данных, которые транслируются в DRAM — в тестах нагрузка на DRAM сократилась на величину до 13 %. Реализована аппаратная поддержка Hardware Opacity Micromaps (OMM) — эта технология помогает более эффективно трассировать лучи для прозрачных или частично прозрачных геометрических объектов. Эти решения помогут мобильным системам добиться качества, сравнимого с десктопами.

В результате, уверяет Arm, Mali G2-Ultra NX позволяет повысить производительность с 15 до 60 кадров в секунду, одновременно сократив потребление DRAM на величину до 70 %. Обновлённые исполнительные блоки трассировки лучей в тестах показали рост производительности на 24 %; даже при отключении функций ИИ прирост производительности составляет 14 %; а при отрисовке тех же сцен нагрузка на графическую подсистему может сокращаться на величину до 70 %. Интеграция новых решений разработчиками игр, предполагают в Arm, займёт до полутора лет. Чипы с графическими подсистемами Arm Mali G2-Ultra NX, Mali G2-Premium NX и Mali G2-Pro NX дебютируют в ближайшие недели.