Сегодня 03 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Сбер» представил нейросеть Kandinsky Video — она генерирует 8-секундные видео по текстовому описанию

«Сбер» представил нейросеть Kandinsky Video, способную создавать небольшие ролики по текстовому описанию. Алгоритм генерирует видеоряд продолжительностью до 8 секунд с частотой 30 кадров в секунду. Новинка была презентована в рамках конференции AI Journey первым заместителем председателя правления «Сбербанка» Александром Ведяхиным.

 Источник изображения: sberbank.com

Источник изображения: sberbank.com

Архитектура Kandinsky Video включает в себя два основных блока. Первый блок отвечает за генерацию ключевых кадров, используемых для создания структуры сюжета видео, а второй — генерирует интерполяционные кадры, за счёт чего достигается плавность движения в финальном ролике. Оба блока построены на базе модели синтеза изображений по текстовым описаниям Kandinsky 3.0.

В конечном счёте алгоритм создаёт видео с движением как объекта, так и фона. Это отличает сгенерированные нейросетью видео от анимационных роликов, в которых динамика достигается за счёт моделирования полёта камеры относительно статичной сцены. В настоящее время Kandinsky Video может создавать видео с разрешением 512 × 512 пикселей и разным соотношением сторон. Для обучения алгоритма использовался датасет из более чем 300 тыс. пар «текст-видео». Сам же процесс генерации ролика занимает до 3 минут.

Отмечается, что ранее некоторые пользователи нейросети Kandinsky 2.2 в тестовом режиме получили доступ к функции создания анимационных роликов. Всего одного запроса достаточно для генерации видео продолжительностью до 4 секунд с выбранными эффектами анимации, частотой 24 кадра в секунду и разрешением 640 × 640 пикселей. Пользователи новой версии Kandinsky 3.0 также могут генерировать ролики по текстовому описанию в режиме анимации.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Gamesblender № 698: релиз RDR на ПК, «снова великая» BioWare (или нет) и обиженные авторы Denuvo 22 мин.
Google представила Learn About — инструмент интерактивного обучения на базе искусственного интеллекта 7 ч.
Аудитория Threads превысила 275 млн пользователей за год с момента её запуска 10 ч.
У VK Cloud появился ИИ-консультант по облачным сервисам 12 ч.
На «Госуслугах» появилась форма для регистрации блогеров с аудиторией более 10 тыс. подписчиков 13 ч.
Правительство запретило незарегистрированным майнерам расходовать более 6000 кВт·ч электроэнергии в месяц 14 ч.
WhatsApp добавил новую функцию для быстрой организации чатов 19 ч.
Apple объявила о покупке популярного редактора изображений Pixelmator литовской разработки 20 ч.
Новая статья: Neva — белый Бим Черные рога. Рецензия 24 ч.
Авторы «Мора» объяснили, зачем превратили кампанию Бакалавра в Pathologic 3, и вспомнили про Самозванку 01-11 23:46
Облако AWS стало основным драйвером роста выручки Amazon — компания готова и дальше вкладываться в ИИ-инфраструктуру 3 ч.
Система Веги оказалась планетарной пустыней 4 ч.
Облачный бизнес Google растёт быстрее, чем у всех конкурентов 4 ч.
В гонке за передовым ИИ техногиганты потратят в 2024 году более $200 млрд 8 ч.
Intel до сих пор не начала зарабатывать на контрактном производстве чипов — заказов очень мало 8 ч.
Созданы сверхтонкие солнечные панели для дирижаблей — их масса меньше 700 г на квадратный метр 9 ч.
OnePlus 13 возглавил рейтинг самых мощных Android-смартфонов по итогам октября 9 ч.
В США задумались о санкциях против китайских производителей дисплеев — они вытесняют всех конкурентов 10 ч.
Спутники мобильной связи AST SpaceMobile стали ярчайшими объектами на ночном небе — астрономы в шоке 10 ч.
Власти США готовят «план спасения Intel» на случай дальнейшего ухудшения её финансового положения 10 ч.