Новости Software

Google представила нейросеть, которая генерирует HD-видео по текстовому описанию

Google рассказала о системе искусственного интеллекта Imagen Video, которая генерирует видео высокого разрешения (1280×768 пикселей, 24 кадра в секунду) по текстовому описанию. Однако из опасения, что модель будет генерировать неприемлемый контент, компания пока решила воздержаться от публикации исходных кодов проекта.

 Источник изображения: imagen.research.google

Источник изображения: imagen.research.google

В описании (PDF) решения Google отметила, что Imagen Video способна работать в заданной стилистике, имитируя, к примеру, манеры известных художников, создавать вращающиеся 3D-объекты с сохранением их формы или изображать текст в различных анимационных жанрах. Основу технологии составил «каскад» моделей, которые на основе текстового описания создают прототип ролика (16 кадров в разрешении 24×48 пикселей с частотой 3 кадра в секунду), который далее в несколько шагов преобразуется в видео высокого разрешения с более высокой частотой кадров. Конечное видео имеет длительность 5,3 секунды.

Представленные на сайте Imagen Video примеры включают и простые сцены вроде «Стекающего по стаканчику тающего фисташкового мороженого», и замысловатые сценарии, например, «Пролёт сквозь битву пиратских кораблей в бушующем океане». Изображения содержат очевидные артефакты, однако их детализация и плавность заметно выше, чем у существующих аналогов. Параллельно дебютировала ещё одна ИИ-модель от Google для генерации видео по текстовому описанию — Phenaki создаёт более длинные ролики.

В Google рассказали, что система Imagen Video была обучена на общедоступной базе LAION-400M, которая содержит «14 млн пар видео-текст и 60 млн пар картинка-текст». По версии компании, это «проблемные данные», и хотя специалисты попытались их отфильтровать, сохраняется вероятность, что модель будет генерировать неприемлемый контент, содержащий сцены деликатного характера, насилие, социальные стереотипы и культурные предубеждения. И «пока эти опасения не будут устранены», исходный код модели Imagen Video публиковать не станут.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Глава Epic Games заявила, что пойдёт до конца в борьбе с Apple 6 мин.
Сиквел кооперативного боевика Remnant: From the Ashes выйдет в 2023 году с полным переводом на русский 43 мин.
Мифологический роглайк Hades получит прямое продолжение — первые подробности Hades II и релиз в Steam 2 ч.
Meta придётся отстаивать в суде право купить Within — разработчика фитнес-приложения для метавселенной 2 ч.
Elden Ring победила God of War Ragnarok на The Game Awards 2022 и была признана лучшей игрой года 3 ч.
Илон Маск привлёк к работе в Twitter сотрудников из других своих компаний 4 ч.
Американский регулятор подал в суд, чтобы заблокировать сделку по покупке Activision Blizzard компанией Microsoft 4 ч.
Эксклюзивы Sony на ПК: дата выхода The Last of Us Part I и анонс Returnal 4 ч.
Новая игра создателя BioShock подозрительно похожа на BioShock — первый трейлер сюжетного шутера Judas 5 ч.
Twitter предоставит рекламодателям больше возможностей по контролю над размещением рекламы 6 ч.
В следующем году рынок настольных ПК почти перестанет падать 25 мин.
TSMC не чувствует спада на рынке — ноябрьская выручка взлетела на 50,2 % 2 ч.
Платформа MEB+ позволит Volkswagen увеличить дальность хода электромобилей до 700 км и сократить время зарядки 4 ч.
Ракета компании SpaceX вывела на орбиту спутники связи для конкурентов из OneWeb 4 ч.
Virgin Orbit объяснила отсрочку запуска ракеты проблемами с лицензированием, что вызвало возражения у британского регулятора 4 ч.
Tata Group рассчитывает наладить в Индии производство полупроводниковых компонентов автомобильного назначения 5 ч.
На предприятии Foxconn в Чжэнчжоу по сборке iPhone сняты санитарные ограничения 7 ч.
Телескоп «Джеймс Уэбб» помог учёным узнать больше о происхождении Южной кольцевой туманности 11 ч.
Новая статья: Обзор игрового 4K-монитора MSI Optix MAG281URF: теперь я здесь главный! 12 ч.
Выяснились процессорные планы Intel на 2023 год: Raptor Lake-S Refresh, Sapphire Rapids-WS и особые Sapphire Rapids-SP для рабочих станций 16 ч.