Сегодня 21 мая 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Google представила мощную нейросеть Lumiere для генерации реалистичных видео

Google представила Lumiere«модель пространственно-временной диффузии для реалистичной генерации видео», основанную на искусственном интеллекте. Как показала практика, это, возможно, самый мощный на сегодняшний день ИИ-генератор видео, создающий динамические изображения по текстовому описанию.

 Источник изображения: lumiere-video.github.io

Источник изображения: lumiere-video.github.io

Важнейшим отличием Google Lumiere от существующих аналогов является уникальная архитектура модели — видео по всей его продолжительности генерируется за один проход. Другие модели работают по иному принципу: они генерируют несколько ключевых кадров, а затем производят интерполяцию по времени, что затрудняет согласованность генерируемого ролика. Lumiere работает в нескольких режимах, например, производит преобразование текста в видео, конвертирует статические изображения в динамические, создаёт видеоролики в заданном стиле на основе образца, позволяет редактировать существующее видео по письменным подсказкам, анимирует определённые области статического изображения или редактирует видео фрагментарно — например, может изменить предмет гардероба на человеке.

«Мы обучаем нашу модель T2V [преобразования текста в видео] на наборе данных, включающем 30 млн видеороликов с текстовыми описаниями. Видео имеют длину 80 кадров с частотой 16 кадров в секунду. Базовая модель обучена на разрешении 128 × 128 пикселей», — пояснили в Google. На выходе получаются 5-секундные ролики с разрешением 1024 × 1024 пикселей.

Google Lumiere — конечно, не первый ИИ-генератор видео. Сама Google ранее демонстрировала модель Imagen Video, которая генерировала ролики разрешением 1280 × 768 точек с частотой 24 кадра в секунду, но её творения были намного более скромными. Меньшим реализмом отличались результаты таких проектов как Meta Make-A-Video, Runway Gen2 и Stable Video Diffusion. В Google понимают угрозу, которую могут представлять подобные проекты: «Основная наша цель в этой работе — дать начинающим пользователям возможность генерировать визуальный контент гибко и творчески. Однако существует риск неправомерного [создания] подделок или вредоносного контента при помощи нашей технологии, и мы считаем, что крайне важно разрабатывать и применять инструменты выявления случаев предвзятости и злонамеренного использования, чтобы обеспечить безопасную и добросовестную работу [модели]».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Paradox перенесла на неопределённый срок симулятор жизни Life by You от команды ветерана The Sims, но игроки даже рады 5 ч.
Кибершпионаж на дне океана: США заподозрили Китай в краже данных через морские интернет-кабели 6 ч.
Флибустьеры поневоле: в 2024 году почти три четверти российских игроков оказались пиратами 8 ч.
«Образ Джокера на Железном троне останется со мной навсегда»: релизный трейлер MultiVersus взбудоражил фанатов перед воскрешением игры 9 ч.
Подписка требует жертв: инсайдеры предупредили о подорожании Game Pass из-за Call of Duty 10 ч.
OpenAI отключила в ChatGPT голос Sky в из-за удивительного сходства с голосом Скарлетт Йоханссон 11 ч.
Google обвинила Microsoft в неспособности защитить клиентов от кибератак 11 ч.
Опубликованы первые тесты видеокарт в бенчмарке 3DMark Steel Nomad, который выйдет завтра 11 ч.
Гендиректор Take-Two: Rockstar постарается выпустить GTA VI без багов, но это не главное 14 ч.
«Обязателен для всех фанатов»: для ремастера культового квеста Grim Fandango вышел мод с улучшениями графики 15 ч.
Новая статья: Обзор смартфона TECNO POVA 6: странные игры 3 ч.
Новая статья: Обзор ноутбука Digma Pro Breve: максимум производительности в бюджетном сегменте 4 ч.
Microsoft анонсировала планшет Surface Pro с Arm-процессоом Snapdragon X и множеством ИИ-функций 5 ч.
Intel рассказала, насколько процессоры Lunar Lake будут быстрее конкурентов 5 ч.
Microsoft представила ноутбук Surface Laptop на Arm-процессоре Snapdragon X Elite с автономностью до 22 часов 6 ч.
Antec выпустит портативную приставку Core HS — это переименованная и подешевевшая AyaNeo Slide 7 ч.
Microsoft отказалась от AI PС и представила Copilot Plus PC — ИИ-ноутбуки будущего 7 ч.
NASA доставит на Марс европейский ровер «Розалинд Франклин» вместо «Роскосмоса» 8 ч.
FPGA с HBM2e: AMD без лишнего шума выпустила ускоритель Alveo V80 стоимостью всего $9,5 тыс. 9 ч.
Asus выпустила первый в мире WOLED-монитор с глянцевым экраном без бликов — 26,5-дюймовый ROG Strix OLED XG27AQDMG 9 ч.