Сегодня 30 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Alibaba представила нейросеть EMO — она оживляет портреты, заставляя их разговаривать и даже петь

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

 Источник изображения: youtube.com/@ai_beauty303

Источник изображения: youtube.com/@ai_beauty303

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).

В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Google согласилась подписать европейский свод правил в сфере разработки ИИ 18 мин.
Италия запустила проверку Meta из-за внедрения ИИ-чат-бота в WhatsApp 3 ч.
Meta разрешит программистам пользоваться ИИ на собеседованиях 3 ч.
«Яндекс» раскрыл алгоритм распознавания голосовых команд в шумных условиях 3 ч.
FromSoftware отложила горячо ожидаемое обновление для Elden Ring Nightreign из-за сильнейшего землетрясения на Камчатке 4 ч.
Microsoft прекратила предоставлять облачные услуги связанной с «Роснефтью» индийской Nayara Energy 4 ч.
YouTube разрешил блогерам материться — у видео со сквернословием не будут ограничивать монетизацию 4 ч.
Рублёвый стейблкоин A7A5 набрал популярность — он помогает российским компаниям бороться с санкциями 5 ч.
Electronic Art готовит «самую захватывающую» линейку игр в своей истории — Battlefield 6 не будет стоить $80 5 ч.
Meta переманила из Apple уже четвёртого крупного специалиста в сфере ИИ за месяц 5 ч.
Пентагон заказал разработку аналоговых «мозгов» для дронов и систем автопилота 16 мин.
Groq намерен привлечь $600 млн финансирования — в случае успеха это удвоит капитализацию бизнеса 27 мин.
Представлен китайский серверный процессор Zhaoxin KH-50000: до 96 ядер, 12 каналов DDR5 и 128 линий PCIe 5.0 2 ч.
Micron представила SSD на 122 Тбайт и 14 000 Мбайт/с — следующая модель будет в два раза ёмче 2 ч.
Австралия впервые запустила свою космическую ракету — полёт продлился всего 14 секунд и завершился взрывом 3 ч.
Неожиданный эффект ИИ-бума: прибыль аккумуляторного бизнеса Panasonic взлетела на 47 % 3 ч.
Futurehome вынудила пользователей платить за базовые функции своих устройств умного дома 3 ч.
Цены на DDR4 стабилизировались, а флеш-память NAND приготовилась дорожать 4 ч.
Micron представила новые SSD для дата-центров: PCIe 6.0, до 28 Гбайт/с и до 122,88 Тбайт 4 ч.
Micron представила первый в мире SSD с PCIe 6.0 — серверный Micron 9650 со скоростью 28 Гбайт/с 4 ч.