Сегодня 03 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Google представила мощную нейросеть Lumiere для генерации реалистичных видео

Google представила Lumiere«модель пространственно-временной диффузии для реалистичной генерации видео», основанную на искусственном интеллекте. Как показала практика, это, возможно, самый мощный на сегодняшний день ИИ-генератор видео, создающий динамические изображения по текстовому описанию.

 Источник изображения: lumiere-video.github.io

Источник изображения: lumiere-video.github.io

Важнейшим отличием Google Lumiere от существующих аналогов является уникальная архитектура модели — видео по всей его продолжительности генерируется за один проход. Другие модели работают по иному принципу: они генерируют несколько ключевых кадров, а затем производят интерполяцию по времени, что затрудняет согласованность генерируемого ролика. Lumiere работает в нескольких режимах, например, производит преобразование текста в видео, конвертирует статические изображения в динамические, создаёт видеоролики в заданном стиле на основе образца, позволяет редактировать существующее видео по письменным подсказкам, анимирует определённые области статического изображения или редактирует видео фрагментарно — например, может изменить предмет гардероба на человеке.

«Мы обучаем нашу модель T2V [преобразования текста в видео] на наборе данных, включающем 30 млн видеороликов с текстовыми описаниями. Видео имеют длину 80 кадров с частотой 16 кадров в секунду. Базовая модель обучена на разрешении 128 × 128 пикселей», — пояснили в Google. На выходе получаются 5-секундные ролики с разрешением 1024 × 1024 пикселей.

Google Lumiere — конечно, не первый ИИ-генератор видео. Сама Google ранее демонстрировала модель Imagen Video, которая генерировала ролики разрешением 1280 × 768 точек с частотой 24 кадра в секунду, но её творения были намного более скромными. Меньшим реализмом отличались результаты таких проектов как Meta Make-A-Video, Runway Gen2 и Stable Video Diffusion. В Google понимают угрозу, которую могут представлять подобные проекты: «Основная наша цель в этой работе — дать начинающим пользователям возможность генерировать визуальный контент гибко и творчески. Однако существует риск неправомерного [создания] подделок или вредоносного контента при помощи нашей технологии, и мы считаем, что крайне важно разрабатывать и применять инструменты выявления случаев предвзятости и злонамеренного использования, чтобы обеспечить безопасную и добросовестную работу [модели]».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Суд признал деятельность создателей «Мира танков» экстремистской и передал активы государству — в «Леста Игры» с решением «в корне не согласны» 2 мин.
Скорость распространения Windows 11 замедлилась 2 ч.
На МКС заработает российский ИИ — осенью там запустят GigaChat «Сбера» 3 ч.
Разработчик-одиночка анонсировал «Знамя победы» — гибрид стратегии и экшена на полях сражений Второй мировой войны 4 ч.
Рынок российского инфраструктурного ПО достиг уровня 2021 года 4 ч.
МТС Web Services запустила собственную публичную облачную платформу 4 ч.
Windows 11 перестанет навязывать Edge в качестве браузера по умолчанию — но не для всех 5 ч.
Resident Evil 9 не заставит себя долго ждать — сразу три инсайдера подтвердили скорый анонс от Capcom 6 ч.
«Мы бесконечно признательны»: продажи Elden Ring Nightreign взяли новую высоту, а обзоры игры в Steam стали «в основном положительными» 7 ч.
Благодаря ИИ Microsoft из отстающих вышли в лидеры по темпам роста своих акций 7 ч.
Т-Банк раздумывает над строительством третьего ЦОД из-за роста бизнеса 38 мин.
NAACP призывает закрыть ЦОД xAI в Мемфисе из-за загрязнений воздуха газовыми турбинами 2 ч.
MSI представила очень компактную GeForce RTX 5060 8G Inspire ITX — у неё всего один вентилятор 2 ч.
США отсрочили подорожание видеокарт — повышение пошлин на китайские комплектующие отложено до 31 августа 2 ч.
XFX выпустит 12 вариантов Radeon RX 9060 XT — все с одинаковым разгоном GPU 3 ч.
OpenAI и Nvidia заработают миллиарды на Ближнем Востоке — но главный выигрыш достанется США 3 ч.
Электромобильный бизнес Xiaomi станет прибыльным благодаря новому YU7, надеется основатель компании 3 ч.
Applied Digital сдаст CoreWeave 250-МВт ЦОД в Северной Дакоте на 15 лет за $7 млрд 4 ч.
iPhone 16e попал в топ-10 популярных смартфонов в Европе сразу после выхода, но iPhone SE дебютировали лучше 4 ч.
Серийное производство базовых станций 4G в России начнётся в этом году, пообещали в «Ростехе» 4 ч.