Сегодня 15 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Alibaba представила нейросеть EMO — она оживляет портреты, заставляя их разговаривать и даже петь

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

 Источник изображения: youtube.com/@ai_beauty303

Источник изображения: youtube.com/@ai_beauty303

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).

В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Анонсирован нелинейный ролевой триллер Agent of Strange от создателей «Жизнь и страдания господина Бранте» — первый трейлер и подробности 49 мин.
xAI отучила ИИ-чат-бот Grok оглядываться на мнение Илона Маска и приписывать себе странные фамилии 2 ч.
Банк России объявил, когда начнётся массовое внедрение цифрового рубля 3 ч.
Следующее крупное обновление для Cyberpunk 2077 готовится к премьере — презентация патча 2.3 пройдёт уже завтра 3 ч.
RoboCop: Rogue City, Wuchang: Fallen Feathers, Grounded 2 и не только: Microsoft раскрыла последние новинки Game Pass в июле 4 ч.
В SelectOS появились функции автоматической установки на выделенных серверах и запуска через облако 5 ч.
Европа начала тестировать сервис проверки возраста для доступа к контенту 18+ 5 ч.
Cyberpunk 2077 выйдет на Mac уже совсем скоро — амбициозный патч 2.3 тоже не заставит себя долго ждать 5 ч.
Атмосфера первых частей, запретная любовь и заявка на успех: новый геймплей и подробности Mafia: The Old Country 8 ч.
«Она убила бы франшизу»: бывший работник Deep Silver объяснил, почему оригинальная версия Dead Island 2 так и не вышла 9 ч.
Honor представила геймерский планшет Pad GT2 Pro со Snapdragon 8 Gen 3 и OLED-экраном на 165 Гц 12 мин.
Thermalright выпустила флагманский кулер Royal Pretor 130 Ultra с парой башен и вентиляторами разного размера 18 мин.
Dreame запустила производство телевизоров в Калужской области 25 мин.
Всё ради OpenAI: дата-центр CoreWeave удвоит энергопотребление техасского городка 52 мин.
AMD по примеру Nvidia возобновит поставки своих ИИ-ускорителей Instinct в Китай 2 ч.
Тонкий магнитный пауэрбанк Xiaomi Super Slim Magnetic Power Bank 5000 выйдет на глобальном рынке 2 ч.
Представлен смартфон Honor X70 с огромной батареей на 8300 мА·ч, чипом Snapdragon 6 Gen 4 и защитой IP69K за $195 2 ч.
30 Тбайт за $600: Seagate начала поставки SATA-дисков Exos M и IronWolf Pro с HAMR-записью 3 ч.
В iPhone появятся магниты из США — Apple инвестирует в американское производство редкоземельных металлов $500 млн 5 ч.
Долгожданный выход процессора Nvidia N1x для ноутбуков отложили на конец 2026 года 5 ч.