Sony анонсировала Quick Spectral Super Resolution (QSSR) — новую библиотеку для апскейлинга на базе ИИ, разработанную для стандартной версии игровой приставки PlayStation 5. Первыми играми с поддержкой этой технологии стали Marvel’s Wolverine и Ghost of Yōtei. Для обеих сегодня выходят соответствующие обновления.
Источник изображений: PlayStation
Технология QSSR создана на основе PSSR (PlayStation Spectral Super Resolution), которая используется в консоли PS5 Pro. По заявлению Sony, новая реализация стала результатом проекта Amethyst — совместной инициативы компании и AMD в области графики и машинного обучения. Для применимости реконструкции изображения с помощью ИИ на графическом процессоре предыдущего поколения была разработана оптимизированная нейросеть и специальная версия алгоритма для стандартной PS5.
Консоль PS5 Pro оснащена специализированным аппаратным обеспечением для задач машинного обучения, что предоставляет технологии PSSR значительно больше вычислительных ресурсов. В стандартной PS5 такого оборудования нет, поэтому в QSSR применяется иной подход, позволяющий при этом добиться схожего улучшения детализации изображения и временной стабильности (устранения мерцания).
Sony планирует сделать QSSR доступной для широкого круга разработчиков игр на PlayStation. Внедрение QSSR в игры, уже поддерживающие PSSR, не должно потребовать значительных усилий. Представители Sony сообщили изданию Digital Foundry, что QSSR фактически может заменить PSSR без кардинальной переработки кода, хотя разработчикам может потребоваться несколько дней на корректировку таких параметров, как потоковая передача текстур (texture streaming).
Издание Digital Foundry получило дополнительные технические подробности от команды Sony, занимающейся исследованиями и разработкой в области графики. Аппаратная часть PS5 Pro обеспечивает производительность около 300 TOPS (триллионов операций в секунду) для задач вроде PSSR и поддерживает вычисления в формате INT8. В то же время QSSR на стандартной PS5 опирается преимущественно на вычисления в формате FP16, а также использует инструкции упакованных вычислений (packed math) и другие методы оптимизации работы GPU.
Тестирование в игре Marvel’s Wolverine показало, что при реконструкции изображения из разрешения 864p в 1440p использование QSSR увеличивает время отрисовки кадра примерно на 1,5–1,8 мс по сравнению с собственным апскейлером студии Insomniac. В режиме с разблокированной частотой кадров это приводило к разнице примерно в 8–10 FPS, тогда как в стандартном режиме с целевыми 60 FPS потеря производительности компенсируется за счёт динамического изменения разрешения.
Нагрузка на систему существенно возрастала при тестировании QSSR с выводом изображения в разрешении 2160p (режим максимального качества графики в Marvel’s Wolverine). В этом случае увеличение времени отрисовки кадра достигало примерно 4,4 мс. Sony подтвердила, что разработчики могут выбирать различные разрешения рендеринга и вывода изображения в зависимости от графического режима, а не ориентироваться на 4K как на стандарт по умолчанию для обычной версии PS5.
В случае с Ghost of Yōtei результаты оказались иными. Специалисты Digital Foundry выяснили, что технология QSSR обеспечивает примерно ту же частоту кадров, что и уже реализованная в игре технология FSR 3 в режиме «Производительность» с разблокированной частотой кадров. Поскольку теперь QSSR доступна всем разработчикам игр для PlayStation, Sony рассчитывает, что эту технологию будут использовать как уже вышедшие, так и будущие проекты для PS5.