Сегодня 03 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Intel Labs представила нейросеть для генерации панорамных изображений с 360-градусным обзором

Intel Labs в сотрудничестве с Blockade Labs представили латентную диффузионную ИИ-модель для создания панорамных трёхмерных изображений (LDM3D) с 360-градусным обзором, которая первой в отрасли обеспечивает отображение глубины сцены. LDM3D может произвести революцию в создании реалистичного визуального 3D-контента, приложениях метавселенной и цифровом опыте, найти применение в широком спектре отраслей — от развлечений и игр до архитектуры и дизайна.

 Источник изображения: Intel Labs

Источник изображения: Intel Labs

LDM3D была обучена на наборе данных, созданном из подмножества 10 000 образцов базы данных LAION-400M, которая содержит более 400 миллионов пар изображений и подписей к ним. Для отображения точной относительной глубины каждого пикселя была использована разработанная Intel Labs модель Dense Prediction Transformer (DPT). Набор данных LAION-400M создан, чтобы обеспечить возможность широкомасштабного тестирования модели для широкого круга исследователей и других заинтересованных сообществ.

Модель LDM3D обучалась на суперкомпьютере Intel AI на базе процессоров Intel Xeon и ускорителей Intel Habana Gaudi AI. Полученная модель и конвейер объединяют сгенерированное изображение и карту глубины для создания 360-градусных панорамных представлений.

Чтобы продемонстрировать потенциал LDM3D, исследователи разработали приложение DepthFusion, которое использует стандартные 2D-фотографии RGB и карты глубины для создания интерактивной 360-градусной панорамы. Для превращения текстовых подсказок в 3D-панорамы применяется язык визуального программирования TouchDesigner на основе узлов для интерактивного мультимедийного контента в реальном времени. Модель LDM3D объединяет изображение RGB и его карту глубины, что приводит к экономии памяти и ускорению работы.

Примеры панорамных изображений с 360-градусным обзором

«Технология генеративного ИИ направлена на расширение человеческого творчества и экономию времени. Однако большинство сегодняшних моделей ИИ ограничены созданием 2D-изображений. В отличие от них LDM3D позволяет пользователям генерировать изображение и карту глубины из заданной текстовой подсказки. Это обеспечивает более точную относительную глубину для каждого пикселя по сравнению со стандартными методами постобработки и экономит разработчикам значительное время при разработке сцен», — пояснил Васудев Лал (Vasudev Lal), научный сотрудник Intel Labs.

Это исследование может революционизировать взаимодействие с цифровым контентом, позволяя пользователям отображать текстовые подсказки ранее немыслимыми способами. Изображения и карты глубины, сгенерированные LDM3D, позволяют пользователям превратить текстовое описание безмятежного тропического пляжа, современного небоскрёба или научно-фантастической вселенной в детализированную панораму. Способность создавать карту глубины изображения может мгновенно повысить общий реализм и погружение, позволяя создавать инновационные приложения для различных отраслей, от развлечений и игр до дизайна интерьеров и каталогов недвижимости, а также виртуальных музеев и иммерсивной виртуальной реальности.

Внедрение LDM3D и DepthFusion прокладывает путь к дальнейшему развитию генеративного ИИ и компьютерного зрения. Intel продолжит исследования генеративного ИИ для расширения человеческих возможностей и создания экосистемы разработок в области ИИ с открытым исходным кодом, которая демократизирует доступ к этой технологии. LDM3D предоставляется с открытым исходным кодом через сообщество HuggingFace.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Alan Wake 2: The Lake House — творческий катаклизм. Рецензия 12 мин.
Новая статья: Gamesblender № 698: релиз RDR на ПК, «снова великая» BioWare (или нет) и обиженные авторы Denuvo 34 мин.
Google представила Learn About — инструмент интерактивного обучения на базе искусственного интеллекта 7 ч.
Аудитория Threads превысила 275 млн пользователей за год с момента её запуска 10 ч.
У VK Cloud появился ИИ-консультант по облачным сервисам 13 ч.
На «Госуслугах» появилась форма для регистрации блогеров с аудиторией более 10 тыс. подписчиков 13 ч.
Правительство запретило незарегистрированным майнерам расходовать более 6000 кВт·ч электроэнергии в месяц 14 ч.
WhatsApp добавил новую функцию для быстрой организации чатов 20 ч.
Apple объявила о покупке популярного редактора изображений Pixelmator литовской разработки 20 ч.
Новая статья: Neva — белый Бим Черные рога. Рецензия 02-11 00:07
Облако AWS стало основным драйвером роста выручки Amazon — компания готова и дальше вкладываться в ИИ-инфраструктуру 3 ч.
Система Веги оказалась планетарной пустыней 4 ч.
Облачный бизнес Google растёт быстрее, чем у всех конкурентов 4 ч.
В гонке за передовым ИИ техногиганты потратят в 2024 году более $200 млрд 8 ч.
Intel до сих пор не начала зарабатывать на контрактном производстве чипов — заказов очень мало 8 ч.
Созданы сверхтонкие солнечные панели для дирижаблей — их масса меньше 700 г на квадратный метр 9 ч.
OnePlus 13 возглавил рейтинг самых мощных Android-смартфонов по итогам октября 10 ч.
В США задумались о санкциях против китайских производителей дисплеев — они вытесняют всех конкурентов 10 ч.
Спутники мобильной связи AST SpaceMobile стали ярчайшими объектами на ночном небе — астрономы в шоке 10 ч.
Власти США готовят «план спасения Intel» на случай дальнейшего ухудшения её финансового положения 10 ч.