Сегодня 03 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Alibaba представила нейросеть EMO — она оживляет портреты, заставляя их разговаривать и даже петь

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

 Источник изображения: youtube.com/@ai_beauty303

Источник изображения: youtube.com/@ai_beauty303

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).

В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Amazon включилась в борьбу за американский бизнес TikTok 2 мин.
«Яндекс» представил «Нейроэксперта» — ИИ, который соберёт базу знаний по ссылкам и файлам пользователя 2 ч.
«Хуже моего самого страшного кошмара»: утечка геймплея с тестирования новой The Sims ужаснула фанатов 2 ч.
Самые полные издания Borderlands 3 и Diablo III добавят в Game Pass, а лучшая игра 2024 года по версии 3DNews подписку скоро покинет 13 ч.
«Эпический» сериал Netflix по Assassin’s Creed впервые за несколько лет подал признаки жизни 14 ч.
Спустя 10 лет после релиза Enter the Gungeon получит «крупнокалиберный сиквел» — первый трейлер и подробности Enter the Gungeon 2 16 ч.
«Наш контент бесплатный, а инфраструктура — нет»: ИИ-боты разоряют «Википедию» 17 ч.
Nintendo поднимет цены на игры раньше Take-Two с GTA VI — Mario Kart World для Switch 2 будет стоить $80 в «цифре» и $90 в рознице 17 ч.
Роскомнадзор наделил себя правом собирать IP-адреса россиян 17 ч.
«Торт не был ложью!»: Nintendo подтвердила релиз Hollow Knight: Silksong в 2025 году и показала 5 секунд геймплея 18 ч.
Российского инженеры начали судить за кражу секретных технологий ASML для запуска производства чипов в России 3 мин.
Самый опасный в истории наблюдений астероид теперь угрожает Луне, а не Земле 23 мин.
Apple, Nvidia и Amazon под ударом: трампоские пошлины полностью перекроят технологическую отрасль 27 мин.
Российская WildTeam выступила генеральным проектировщиком ЦОД общей ёмкостью 350 МВт 35 мин.
Смартфон Poco M7 Pro 5G с чипом Dimensity 7025-Ultra поступил в глобальную продажу 2 ч.
Названа дата запуска первой партии интернет-спутников Amazon Project Kuiper — они полетят на ракете с российскими двигателями 2 ч.
Samsung резко нарастила поставки чипов в Китай, пока этому не мешают санкции 2 ч.
Western Digital выпустила HDD серии Purple Pro ёмкостью 26 Тбайт для систем видеонаблюдения 3 ч.
Китай увеличил закупки ИИ-чипов Nvidia в четыре раза — до $16 млрд за первый квартал 5 ч.
Акции Tesla отыграли потери на слухах об уходе Илона Маска из правительства США 6 ч.