MWC 2018
2018
Computex
IFA 2018
Intel представила ИИ-инструмент CGVQM, который позволяет объективно оценивать качество изображений в современных играх. Модель анализирует искажения, возникающие при использовании технологий масштабирования и улучшения графики, таких как апскейлинг (DLSS, FSR, XeSS), генерация кадров и другие методы рендеринга.
Источник изображения: Intel
Традиционные метрики, например PSNR, не всегда подходят для оценки игровой графики, поскольку изначально были созданы для анализа сжатого видео. Они не учитывают специфические артефакты, возникающие при использовании апскейлеров, трассировки лучей или динамического затенения. Например, в процессе обработки могут появляться мерцание, гостинг (ghosting), ступенчатость, разрывы объектов и другие. Новая метрика под названием Computer Graphics Visual Quality Metric (CGVQM) использует искусственный интеллект для анализа видеоряда и выявления дефектов, вызванных современными методами обработки изображений.
Команда исследователей из Intel — Акшай Джиндал (Akshay Jindal), Набиль Садака (Nabil Sadaka), Антон Соченов (Anton Sochenov) и другие, предложила двухэтапный подход. Сначала они собрали датасет CGVQD, который включает нейросетевое шумоподавление, апскейлинг, интерполяцию кадров и адаптивное затенение, а затем на его основе обучили нейросеть CGVQM, способную оценивать качество изображения так же, как это делает человек.
Для калибровки модели группе добровольцев показали видеоролики из набора данных и попросили оценить артефакты по шкале от «незаметных» до «сильно раздражающих». Эти данные и стали основой для обучения 3D-свёрточной нейросети (3D-CNN) на базе архитектуры ResNet-18, которая позволяет анализировать не только пространственные, но и временные искажения, что критически важно для видео.
В итоге, в тестах CGVQM превзошла большинство существующих метрик, особенно при работе с собственным набором данных. Модель версии CGVQM-5 показала результат, близкий к человеческой оценке, а более простая CGVQM-2 заняла третье место среди протестированных систем. При этом CGVQM способна анализировать и сторонний контент, не входящий в обучающую выборку, что делает её универсальным инструментом.
В будущем, как пишет Tom's Hardware, исследователи рассматривают переход на архитектуру трансформеров для повышения производительности. Также в метрику могут добавить анализ оптического потока для более детальной оценки.
Источник:
