Разработчики игр всё чаще обращаются к нейросетям для решения проблемы нехватки видеопамяти. Поскольку для достижения ультрареалистичного игрового опыта размеры текстур постоянно увеличиваются, это создаёт повышенную нагрузку на VRAM. Один из энтузиастов опубликовал видео, в котором продемонстрировал работу технологии нейросетевого сжатия текстур (Neural Texture Compression, NTC) на видеокартах Nvidia и Intel. Тесты показали, что NTC позволяет значительно снизить объём используемой видеопамяти без потери качества изображения.

Источник изображений: Compusemble / YouTube

Технология NTC разработана как альтернатива традиционному блочному сжатию текстур. В отличие от существующих методов, она использует небольшие специализированные нейросети с минимальной вычислительной нагрузкой, которые настраиваются под конкретные материалы сцены. Это позволяет уменьшить объём текстур как в оперативной памяти (RAM), так и на накопителе, одновременно повышая качество рендеринга.

Например, в демонстрационном ролике исходный объём текстуры шлема составлял 272 Мбайт. После блочного сжатия он сократился до 98 Мбайт. Применение NTC позволило уменьшить его до 11,37 Мбайт без потери качества — это более чем в 24 раза меньше по сравнению с оригиналом. Аналогичные результаты были продемонстрированы на видеокарте Intel с моделью тираннозавра: после декодирования текстуры с помощью NTC они выглядели чётче и ближе к оригиналу, чем при стандартном сжатии.

Автор видео Compusemble протестировал технологию на системе с видеокартой Nvidia GeForce RTX 5090. По его данным, время обработки одного кадра в разрешении 4K увеличилось с 0,045 мс до 0,111 мс — в 2,5 раза, однако это по-прежнему незначительно по сравнению с общей длительностью рендеринга кадра. При этом, если отключить функцию Cooperative Vectors, разработанную Nvidia, Microsoft и другими участниками индустрии, время обработки возрастает до 5,7 мс, что делает применение NTC практически невозможным без аппаратного ускорения.

Следует отметить, что технология NTC пока не используется в коммерческих проектах. Однако её техническая база уже формируется. NTC позволит разработчикам либо снизить нагрузку на видеопамять, либо повысить детализацию графики без увеличения требований к «железу». Ожидается, что первые игры с поддержкой NTC появятся в течение ближайших нескольких лет.

Nvidia продолжает разрабатывать новую технологию сжатия текстур Neural Texture Compression (NTC) на основе нейронных сетей, которая может значительно снизить потребление видеопамяти (VRAM) в играх и других графических приложениях. Хотя технология всё ещё находится в стадии бета-тестирования, тесты, по словам TechSpot, показали впечатляющие результаты.

Источник изображения: Steam

Канал Compusemble на YouTube протестировал бета-версию технологии. Демонстрация NTC включала три режима рендеринга — Reference Material (без сжатия), NTC Transcoded to BCn (сжатие при загрузке) и Inference on Sample (распаковка по требованию). Тесты показали, что NTC может значительно снизить использование VRAM и дискового пространства, но при этом может повлиять на частоту кадров.

Тестирование проводилось на видеокарте Nvidia GeForce RTX 4090 с включённым DLSS и TAA. При разрешении 1440 пикселей с DLSS режим NTC Transcoded to BCn уменьшил использование памяти текстур на 64 % (с 272 Мбайт до 98 Мбайт), а режим NTC Inference on Sample сократил его до 11,37 Мбайт, что составляет 95,8 % по сравнению с несжатым вариантом. Однако использование DLSS и более высоких разрешений создавало дополнительную нагрузку на тензорные ядра GeForce RTX 4090, что в некоторой степени влияло на производительность.

Nvidia активно продвигает технологии рендеринга, основанные на искусственном интеллекте (ИИ), включая NTC и другие RTX-решения, так как это направление важно для повышения эффективности использования VRAM и создания более реалистичной графики, и особенно актуально для современных игр с высоким уровнем детализации.

В Nvidia также отмечают важность использования векторных операций в современных конвейерах рендеринга (Render Pipeline). Как объясняют в Microsoft, эти векторы ускоряют выполнение ИИ-задач, оптимизируя векторные операции, что не только улучшает обучение и настройку ИИ-моделей, но и способствует повышению эффективности рендеринга в играх.