Apple научила ИИ строить 3D-сцены по одному фото — быстро и без домыслов

Apple опубликовала исследование под названием «Чёткий монокулярный синтез изображения менее чем за секунду», в котором подробно описала, как обучила модель искусственного интеллекта выстраивать трёхмерные сцены по одному плоскому изображению, обеспечивая соответствующие реальным условиям расстояния и масштаб.

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Источник изображения: x.com/timd_ca

Задача модели ИИ — предсказывать трёхмерное представление сцены, которое отрисовывается с близлежащих точек обзора. Вместо привычных жёстких 3D-моделей сцена выстраивается из трёхмерных представлений функции Гаусса — небольших размытых пятен цвета и света, расположенных в пространстве. Объединив несколько миллионов таких пятен, можно воссоздать конкретное изображение, которое выглядит аналогично с той же точки обзора. Обычно для достижения этого результата требуются несколько десятков, если не сотен изображений, снятых с разных ракурсов — созданная Apple модель SHARP предсказывает полное трёхмерное представление с помощью гауссовской развёртки всего по одной фотографии и всего за один проход нейросети.

Чтобы добиться такого результата, инженеры Apple обучили SHARP на большом объёме синтетических и реальных данных, благодаря чему модель изучила общие закономерности глубины и геометрии в различных сценах. Получив новую фотографию, она оценивает глубину, уточняет её, используя имеющиеся знания, а затем составляет прогноз положения и внешнего вида трёхмерных «колоколов Гаусса» за один проход. Но есть у этого метода и слабое место: SHARP действительно в точности отображает близлежащие ракурсы, но не дорисовывает невидимые части сцены. То есть пользователь не сможет далеко отойти от точки обзора, с которой был сделан снимок.

За счёт этого исследователи Apple добились достаточно высокой скорости работы модели, которая получает результат менее чем за секунду с высокой стабильностью. Исходный код SHARP компания опубликовала на GitHub. Интересно, что в одном из примеров источниками трёхмерных моделей стали не статические изображения, а видеофайлы.