Сегодня 28 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Google представила мощную нейросеть Lumiere для генерации реалистичных видео

Google представила Lumiere«модель пространственно-временной диффузии для реалистичной генерации видео», основанную на искусственном интеллекте. Как показала практика, это, возможно, самый мощный на сегодняшний день ИИ-генератор видео, создающий динамические изображения по текстовому описанию.

 Источник изображения: lumiere-video.github.io

Источник изображения: lumiere-video.github.io

Важнейшим отличием Google Lumiere от существующих аналогов является уникальная архитектура модели — видео по всей его продолжительности генерируется за один проход. Другие модели работают по иному принципу: они генерируют несколько ключевых кадров, а затем производят интерполяцию по времени, что затрудняет согласованность генерируемого ролика. Lumiere работает в нескольких режимах, например, производит преобразование текста в видео, конвертирует статические изображения в динамические, создаёт видеоролики в заданном стиле на основе образца, позволяет редактировать существующее видео по письменным подсказкам, анимирует определённые области статического изображения или редактирует видео фрагментарно — например, может изменить предмет гардероба на человеке.

«Мы обучаем нашу модель T2V [преобразования текста в видео] на наборе данных, включающем 30 млн видеороликов с текстовыми описаниями. Видео имеют длину 80 кадров с частотой 16 кадров в секунду. Базовая модель обучена на разрешении 128 × 128 пикселей», — пояснили в Google. На выходе получаются 5-секундные ролики с разрешением 1024 × 1024 пикселей.

Google Lumiere — конечно, не первый ИИ-генератор видео. Сама Google ранее демонстрировала модель Imagen Video, которая генерировала ролики разрешением 1280 × 768 точек с частотой 24 кадра в секунду, но её творения были намного более скромными. Меньшим реализмом отличались результаты таких проектов как Meta Make-A-Video, Runway Gen2 и Stable Video Diffusion. В Google понимают угрозу, которую могут представлять подобные проекты: «Основная наша цель в этой работе — дать начинающим пользователям возможность генерировать визуальный контент гибко и творчески. Однако существует риск неправомерного [создания] подделок или вредоносного контента при помощи нашей технологии, и мы считаем, что крайне важно разрабатывать и применять инструменты выявления случаев предвзятости и злонамеренного использования, чтобы обеспечить безопасную и добросовестную работу [модели]».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Alibaba представила ИИ-модель Qwen VLo, которая умеет редактировать картинки 6 ч.
В миллионах принтеров Brother обнаружены уязвимости безопасности — некоторые невозможно исправить 6 ч.
Runway готовит платформу для создания игр с помощью ИИ 6 ч.
ЕС пригрозил Meta ежедневными штрафами — бизнес-модель «плати или соглашайся» не прошла проверку 11 ч.
Новая статья: FBC: Firebreak — контроль потерян. Рецензия 12 ч.
Кодзима спрятал в Death Stranding 2: On the Beach отсылки к самому себе — они могут вызвать «сильный кринж» 13 ч.
Сердце пустыни склонно к измене: создатели Dune: Awakening устроили передел PvP и PvE в эндгейме после жалоб игроков 14 ч.
Microsoft добавила в браузер Edge поиск по истории с ИИ и новые функции Copilot 16 ч.
«Погоня за безопасными идеями — смертный приговор»: разработчик Rematch разбил надежды фанатов на Sifu 2 17 ч.
Мир охватила эпидемия ИИ-зависимости — от нездорового общения с ботами лечатся, как от наркомании 18 ч.
Вторая жизнь «Конкорда»: обновлённый сверхзвуковой лайнер вернётся в небо, но это не точно 2 ч.
Tesla впервые доехала до покупателя своим ходом без людей в салоне 5 ч.
Intel отправила в отставку директора по стратегии 6 ч.
Мозговой имплант N1 компании Neuralink получили уже семь пациентов с опорно-двигательными проблемами 6 ч.
Xiaomi выпустила контроллер Redmi GamePad за $70 со стиками с эффектом Холла для мобильных устройств 6 ч.
Intel скоро «догонит» AMD по доле рынка серверных процессоров 13 ч.
Intel смогла снизить долю на рынке серверных процессоров до 62 %, но доля AMD всё равно меньше 13 ч.
Учёные заставили цифровой контроллер работать почти при абсолютном нуле — это прорыв для квантовых компьютеров 14 ч.
Геймерские OLED-мониторы станут ярче — LG Display запустила массовое производство суперярких панелей с частотой 280 Гц 17 ч.
Deloitte: прожорливость ИИ ЦОД может привести к перегрузке энергетической инфраструктуры США 19 ч.