Сегодня 24 февраля 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Сбер» представил нейросеть Kandinsky Video — она генерирует 8-секундные видео по текстовому описанию

«Сбер» представил нейросеть Kandinsky Video, способную создавать небольшие ролики по текстовому описанию. Алгоритм генерирует видеоряд продолжительностью до 8 секунд с частотой 30 кадров в секунду. Новинка была презентована в рамках конференции AI Journey первым заместителем председателя правления «Сбербанка» Александром Ведяхиным.

 Источник изображения: sberbank.com

Источник изображения: sberbank.com

Архитектура Kandinsky Video включает в себя два основных блока. Первый блок отвечает за генерацию ключевых кадров, используемых для создания структуры сюжета видео, а второй — генерирует интерполяционные кадры, за счёт чего достигается плавность движения в финальном ролике. Оба блока построены на базе модели синтеза изображений по текстовым описаниям Kandinsky 3.0.

В конечном счёте алгоритм создаёт видео с движением как объекта, так и фона. Это отличает сгенерированные нейросетью видео от анимационных роликов, в которых динамика достигается за счёт моделирования полёта камеры относительно статичной сцены. В настоящее время Kandinsky Video может создавать видео с разрешением 512 × 512 пикселей и разным соотношением сторон. Для обучения алгоритма использовался датасет из более чем 300 тыс. пар «текст-видео». Сам же процесс генерации ролика занимает до 3 минут.

Отмечается, что ранее некоторые пользователи нейросети Kandinsky 2.2 в тестовом режиме получили доступ к функции создания анимационных роликов. Всего одного запроса достаточно для генерации видео продолжительностью до 4 секунд с выбранными эффектами анимации, частотой 24 кадра в секунду и разрешением 640 × 640 пикселей. Пользователи новой версии Kandinsky 3.0 также могут генерировать ролики по текстовому описанию в режиме анимации.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Новая статья: Banishers: Ghosts of New Eden — изгнатели дьявола. Рецензия 8 мин.
Хидетака Миядзаки встал на защиту Dark Souls 2 — самой нелюбимой фанатами игры серии 2 ч.
«Этот день настал»: культовый российский квест Sublustrum получит трёхмерный ремейк 3 ч.
Паркурный экшен Vasya Run: Ghetto Gopnik расскажет об уличном художнике посреди инопланетного вторжения — первый трейлер и подробности 5 ч.
Warner Bros. признала релиз Suicide Squad: Kill the Justice League провалом 6 ч.
Threads тестирует возможность сохранять черновики и делать фото в приложении 6 ч.
Вирус-вымогатель LockBit стали распространять через уязвимость в ПО для удалённого доступа ConnectWise 6 ч.
Как пополнять кошелёк Steam в России после краха QIWI — семь рабочих способов 8 ч.
Число высококритичных атак на российские компании выросло более чем в три раза 10 ч.
В приложении Apple Shortcuts нашли уязвимость, позволяющую похищать данные без участия пользователя 11 ч.
Colorfire выпустила яркий ноутбук Meow R15 на базе Ryzen 7 8845HS и GeForce RTX 4070 3 ч.
NVIDIA теперь стоит дороже $2 трлн — она подорожала вдвое менее чем за год 4 ч.
Senao Networks выпустила 25GbE-адаптеры SX904 SmartNIC на базе Xeon D 5 ч.
Мировой рынок SSD сокращается в штуках, но растёт в плане ёмкости, а NVMe-накопители показали резкий рост 5 ч.
Microsoft переманила ответственного за аппаратные решения облака AWS 5 ч.
Австралийский суперкомпьютерный центр внедрит суперчипы NVIDIA Grace Hopper для квантовых исследований 6 ч.
Meta ищет в Индии и США специалистов для разработки ИИ-ускорителей и SoC для дата-центров 6 ч.
ИИ-ускорители нового поколения Blackwell будут в дефиците, предупредила NVIDIA 6 ч.
ЕС запретил поставлять в Россию процессоры, трансформаторы, смартфоны и множество другой электроники 6 ч.
Intuitive Machines заявила, что лунный модуль Nova-C жив и здоров, но пока не подтвердила это фотографиями 6 ч.