Опрос
|
реклама
Быстрый переход
AMD пытается заменить трассировку лучей нейросетью — ИИ научили генерировать кадры с реалистичным освещением
17.09.2026 [18:27],
Сергей Сурабекянц
Технические специалисты AMD рассказали о разработанном ими методе покадровой генерации изображений при помощи ИИ для замены глобального освещения в реальном времени. Метод называется «Временно стабильное генеративное освещение с помощью одношаговой модели диффузии». Идея заключается в имитации глобального освещения посредством генерации изображений, а не с помощью ресурсоёмких вычислительных методов, таких как трассировка лучей. 
Источник изображения: AMD Ранее в этом году Джек Хуинь (Jack Huynh) из AMD анонсировал новый набор технологий FSR Diamond. Он включает в себя описанный в статье «нейронный рендеринг следующего поколения», наряду с улучшенным масштабированием и многокадровой генерацией на основе машинного обучения, регенерацией лучей и трассировкой путей. «В нашей работе мы пытаемся решить проблему глобального освещения как задачу генерации изображений, — пояснил один из разработчиков Сунге Ким (SungYe Kim). — Глобальное освещение — это то, что делает сцену реалистичной, и это также самая затратная часть рендеринга». Предложенный метод использует кадр с прямым освещением, направленным непосредственно от источника к объекту без дальнейших отражений — в качестве первоначальной подсказки для модели Stable Diffusion 2.1 Turbo. Модель обучена на синтетическом наборе данных из 31 000 кадров заранее отрендеренных интерьерных сцен. Каждый кадр содержит от 1 до 30 источников света и движущихся объектов. Таким образом, по словам разработчиков, «модель видит широкий диапазон условий освещения». Обучение включает в себя 50-кратное прохождение этого набора данных на графических процессорах AMD Instinct MI210. Разреженные сигналы освещения, яркости, материала и геометрии используются для обеспечения согласованности генерации с параметрами помещения и освещением. Кадр обрабатывается таким образом, чтобы заставить модель сосредоточиться именно на освещении. Исследователи также используют так называемый временной VAE, или TVAE, для повышения согласованности. Он использует векторы движения для выравнивания текущего кадра с предыдущими и хранит историю предыдущих результатов, чтобы гарантировать отсутствие мерцания и других визуальных артефактов. Разработчики утверждают, что их метод «восстанавливает мягкие тени и отражённое освещение», в то время как другие подобные технологии «создают галлюцинации» и «искажают геометрию». Сообщается, что на видеокарте RTX 3090 модель работает со скоростью 0,29 секунды на кадр, что составляет примерно 3,45 кадра в секунду при разрешении 512 x 512 пикселей и загрузке около 8–9 Гбайт видеопамяти. Учитывая, что это только этап глобального освещения, а не весь конвейер рендеринга кадра, до реального применения этого метода геймерами, похоже, ещё далеко. Учёные придумали невидимые для глаз световые водяные знаки для выявления дипфейков
12.08.2025 [18:48],
Сергей Сурабекянц
Поддельные видео становится всё сложнее выявлять, поэтому исследователи Корнеллского университета представили новую криминалистическую технологию, которая поможет специалистам удостовериться в подлинности видеоматериалов. Метод заключается во встраивании невидимых цифровых водяных знаков непосредственно в световой поток источников освещения, используемых при съёмке — например, на месте преступления. 
Источник изображений: Cornell University Концепция «шумокодированного освещения» была представлена 10 августа на конференции SIGGRAPH 2025 аспирантом факультета компьютерных наук Корнеллского университета Питером Майклом (Peter Michael). Впервые этот подход был предложен и разработан доцентом Эйбом Дэвисом (Abe Davis) (на фото слева).  Обычно водяные знаки встраиваются непосредственно в видеофайлы, изменяя мельчайшие элементы изображения для создания скрытого идентификатора. Такие системы достаточно эффективны в контролируемых условиях, но требуют взаимодействия с устройством или платформой, создающей видеоматериал. При использовании несовместимой камеры или программного обеспечения цифровой водяной знак просто не появится.  Разработчики предложили при записи «встраивать» водяной знак непосредственно в световой поток от источников освещения. Это гарантирует, что любая камера — от профессионального оборудования до смартфона — запечатлеет его во время съёмки сцены. В программируемые источники света, такие как компьютерные мониторы, студийное оборудование или некоторые светодиодные приборы, можно встроить кодированные шаблоны яркости с помощью ПО. Стандартные лампы также можно адаптировать, оснастив их компактным чипом размером примерно с почтовую марку, который плавно меняет интенсивность света в соответствии с секретным кодом.  Встроенный код, разработанный на основе исследований зрительного восприятия человека, состоит из минимальных изменений частоты и яркости освещения, практически незаметных невооружённому глазу и воспринимаемых мозгом как незначительный световой шум. Уникальный код каждого источника света фактически обеспечивает параллельную запись сцены с низким разрешением и временными метками, которые Дэвис называет «видеокодами». «Когда кто-то манипулирует видео, изменённые фрагменты начинают противоречить тому, что мы видим на этих видеокодах, — пояснил Дэвис. — А если кто-то попытается сгенерировать поддельное видео с помощью ИИ, полученные видеокоды будут выглядеть просто как случайные вариации освещённости». При анализе видеоматериала специалисты могут обнаружить пропущенные последовательности, вставленные объекты или изменённые сцены. Например, удалённый из интервью фрагмент отобразится как визуальный пробел в восстановленном видеокоде, а сфабрикованные элементы — как сплошные чёрные области. Исследователи показали, что в одной сцене можно использовать до трёх независимых кодов освещения. Такое наложение увеличивает сложность водяного знака и усложняет задачу потенциальных фальсификаторов.  «Даже если злоумышленник знает об этой технике и сможет вычислить коды, его задача всё равно будет значительно сложнее, — добавил Дэвис. — Вместо того чтобы имитировать свет только для одного видео, ему придётся подделывать каждый ролик с кодами отдельно, и все подделки должны будут согласовываться между собой». Полевые испытания показали эффективность метода в определённых условиях и его стабильную работу при различных оттенках кожи. Исследователи отмечают, что технология шумокодированного освещения — многообещающий шаг вперёд, но не панацея от фейковых видео. По мере развития инструментов генеративного ИИ будут совершенствоваться и методы обхода средств проверки подлинности. «Раньше видео рассматривалось как источник достоверной информации, но теперь мы не можем быть в этом уверены, — считает Дэвис. — Сегодня можно сгенерировать практически любой ролик. Это интересно, но и проблематично, потому что отличить реальность от подделки становится всё сложнее». |
© 1997—2026 3DNews
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является
нарушением
российского и международного законодательства и возможно только с согласия редакции 3DNews.
MWC 2018
2018
Computex
IFA 2018
