В Apple нашли способ быстро и эффективно строить 3D-сцены с помощью ИИ

Учёные Apple разработали технологию, которая позволяет значительно повысить эффективность отрисовки трёхмерных пространств высокого разрешения. Она не требует существенного роста вычислительных ресурсов при повышении разрешения.

Технология получила название LGTM (Less Gaussians, Texture More) — помимо исследователей Apple, в её разработке участвовали учёные Гонконгского университета. Существующие методы отрисовки трёхмерных сцен по фотографии или любому другому плоскому изображению дают резкий рост вычислительных затрат по мере увеличения разрешения — в конце минувшего года компания представила технологию, основанную на выстраивании виртуального пространства из трёхмерных представлений функции Гаусса, и этой технологии также свойственен этот недостаток.

Проблему решает система LGTM — «отделение геометрической сложности от разрешения рендеринга». Проще говоря, учёные отделили структуру сцены от её визуальных деталей: геометрия пространства остаётся максимально простой, а детали высокого разрешения добавляются на этапе наложения текстур. При обучении модель формирует каркас сцены на изображениях низкого разрешения, после чего результат сверяют с исходными картинками высокого разрешения — в результате она начинает выстраивать геометрию пространства, при которой результат оказывается точным даже при отрисовке в разрешениях 2K и 4K без пробелов и артефактов. Если первая нейросеть отвечает за построение геометрии, то вторая изучает картинку высокого разрешения и на её основе создаёт детализированные текстуры, которые накладываются поверх простого каркаса, созданного первой.

В результате технология LGTM позволяет воссоздавать детализированные трёхмерные сцены в разрешении 4K без квадратичного роста ресурсов, свойственного традиционным системам. На практике это решение поможет, например, в работе систем виртуальной и расширенной реальности — суммарное разрешение дисплеев Apple Vision Pro составляет 23 мегапикселя, и это требует колоссальных вычислительных ресурсов.