Сегодня 02 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

NVIDIA представила ИИ, который генерирует видео с высоким разрешением по текстовому описанию

NVIDIA представила свою ИИ-модель для превращения текста в видео под названием VideoLDM, разработанную в сотрудничестве с исследователями из Корнельского университета. Модель способна генерировать видео в разрешении до 2048 × 1280 пикселей с частотой 24 кадра и длительностью до 4,7 секунд на основе текстового описания.

 Источник изображений: NVIDIA

Источник изображений: NVIDIA

В основе модели лежат наработки нейросети Stable Diffusion. Решение NVIDIA имеет до 4,1 млрд параметров, но только 2,7 млрд из них использовали видео для тренировки. Это весьма скромно по меркам современных ИИ. Тем не менее, с помощью эффективного подхода к модели скрытой диффузии (LDM — Latent diffusion model) разработчики смогли создавать разнообразные и согласованные во времени видео высокого разрешения с весьма высоким качеством.

Исследователи выделяют следующие особенности данной модели: генерацию персонализированного видео и свёрточный синтез во времени. Временные слои, которые были обучены в VideoLDM для превращения текста в видео, вставляются в опорные сети LDM изображений, которые заранее точно настроены в наборе изображений DreamBooth. Временные слои обобщаются контрольными точками DreamBooth, что позволяет персонализировать преобразование текста в видео. Применяя изученные временные слои сверточно во времени, можно получить клипы чуть большей продолжительности с незначительным ухудшением качества.

Модель также способна генерировать видео сцен вождения. Видеоролики имеют разрешение 1024 × 512 точек и длительностью до 5 минут. Есть возможность моделирования конкретного сценария вождения, когда за основу берутся ограничивающие рамки для создания интересующей обстановки, синтезируется соответствующий начальный кадр, а затем создаются правдоподобные видеоролики. Помимо этого, модель может сделать мультимодальное прогнозирование сценариев движения, сгенерировав несколько правдоподобных развертываний на основе одного начального кадра.

Данная исследовательская работа является участником Конференции по машинному зрению и распознаванию образов, которая проходит в Ванкувере с 18 по 22 июня. Пока что представленная нейросеть является лишь исследовательским проектом и не ясно, когда что-то подобное NVIDIA выпустит в открытый доступ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Google представила Learn About — инструмент интерактивного обучения на базе искусственного интеллекта 5 ч.
Аудитория Threads превысила 275 млн пользователей за год с момента её запуска 8 ч.
У VK Cloud появился ИИ-консультант по облачным сервисам 11 ч.
На «Госуслугах» появилась форма для регистрации блогеров с аудиторией более 10 тыс. подписчиков 12 ч.
Правительство запретило незарегистрированным майнерам расходовать более 6000 кВт·ч электроэнергии в месяц 12 ч.
Apple объявила о покупке популярного редактора изображений Pixelmator литовской разработки 18 ч.
Новая статья: Neva — белый Бим Черные рога. Рецензия 23 ч.
Авторы «Мора» объяснили, зачем превратили кампанию Бакалавра в Pathologic 3, и вспомнили про Самозванку 23 ч.
Google начал внедрять генеративный ИИ в «Карты» и другие геосервисы 24 ч.
Создатель DayZ анонсировал «убийцу Kerbal Space Program» — Kitten Space Agency 01-11 21:54
APNIC: переход на IPv6, как оказалось, не так уж нужен 20 мин.
Облако AWS стало основным драйвером роста выручки Amazon — компания готова и дальше вкладываться в ИИ-инфраструктуру 38 мин.
Система Веги оказалась планетарной пустыней 2 ч.
Облачный бизнес Google растёт быстрее, чем у всех конкурентов 2 ч.
В гонке за передовым ИИ техногиганты потратят в 2024 году более $200 млрд 7 ч.
Intel до сих пор не начала зарабатывать на контрактном производстве чипов — заказов очень мало 7 ч.
Созданы сверхтонкие солнечные панели для дирижаблей — их масса меньше 700 г на квадратный метр 8 ч.
OnePlus 13 возглавил рейтинг самых мощных Android-смартфонов по итогам октября 8 ч.
В США задумались о санкциях против китайских производителей дисплеев — они вытесняют всех конкурентов 8 ч.
Спутники мобильной связи AST SpaceMobile стали ярчайшими объектами на ночном небе — астрономы в шоке 8 ч.