Сегодня 29 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Alibaba представила нейросеть EMO — она оживляет портреты, заставляя их разговаривать и даже петь

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

 Источник изображения: youtube.com/@ai_beauty303

Источник изображения: youtube.com/@ai_beauty303

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).

В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Indiana Jones and the Great Circle впервые возглавила недельный чарт продаж в США, но лишь благодаря релизу на PS5 27 мин.
В Москве создадут «госозеро» обезличенных персональных данных для обучения ИИ 40 мин.
В финансовом отчёте Nacon нашли указание на новый перенос Terminator: Survivors — симулятор выживания по «Терминатору» задержится до 2026 года 2 ч.
ChatGPT стал «слишком льстивым и раздражающим», признал Сэм Альтман 2 ч.
Зелёная сова против людей: Duolingo начала увольнять сотрудников, которых может заменить ИИ 3 ч.
Последний шанс обновить смартфон LG: cерверы прекратят работу 30 июня 3 ч.
Суд продлил конкурсное производство в российском ООО «Гугл» до октября 3 ч.
Devolver анонсировала Mycopunk — кооперативный шутер про грибное нашествие планетарного масштаба 3 ч.
Каждый пятый россиянин предпочитает общаться с ИИ вместо людей 4 ч.
Alibaba представила семейство ИИ-моделей Qwen3, которые быстрее и эффективнее DeepSeek 8 ч.
Viettel начала строительство своего крупнейшего кампуса ЦОД в Хошимине 51 мин.
«Яндекс» собрался выпускать человекоподобных роботов, но потом 2 ч.
GreenSquareDC и Green Critical Minerals создадут графитовые радиаторы нового типа 3 ч.
Кредиторы Илона Маска только сейчас перепродали долг на $13 млрд, выданный на покупку Twitter 3 ч.
Учёные набили тату живым тихоходкам с помощью литографа — это шаг к настоящему чипированию людей и не только 3 ч.
Китай стал вторым по величине рынком полупроводниковых материалов, сместив Южную Корею 4 ч.
«Подмаслить» ИИ: ЦОД AI Green Bytes задействует погружные СЖО и жидкость Oleon Qloe растительного происхождения 5 ч.
Sony готовится отделить и вывести на биржу свой полупроводниковый бизнес 6 ч.
Frontier Power и Ethos Green Energy построят ЦОД в Великобритании на 5 ГВт — с энергохранилищами и возобновляемой энергией 6 ч.
Arm подвела итоги 40-летия, объявив о поставке 250 млрд чипов 7 ч.