Сегодня 17 июня 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → vasa-1

Microsoft показала нейросеть, которая делает говорящие что угодно дипфейки по одному фото

За последние пару лет генеративные нейросети преодолели важный этап развития, став более мощными и способными создавать по текстовому описанию не только изображения, но и видео. Новый алгоритм VASA-1 от Microsoft, вероятно, сумеет удивить многих, поскольку для его работы вообще не нужно описание. Достаточно предоставить одно изображение человека и аудиодорожку, на основе которых нейросеть сгенерирует видео говорящего человека с широким спектром эмоций и естественной мимикой.

 Источник изображения: Microsoft

Источник изображения: Microsoft

Результат работы VASA-1 выглядит очень естественно и правдоподобно. Всего из одного снимка лица и записи голоса алгоритм создаёт реалистичное видео, на котором запечатлённый на снимке человек буквально «оживает», а его мимика, движения губ и головы выглядят вполне натурально. Поскольку созданные с помощью VASA-1 видео с ходу сложно отличить от реальных, уже высказываются опасения по поводу того, что алгоритм может использоваться злоумышленниками для создания фейков.

Что касается самой нейросети, то главным её отличием от других подобных алгоритмов является наличие целостной модели генерации лицевой мимики и движений головы. Специалисты Microsoft провели обширную исследовательскую работу, включая оценку ряда новых метрик. В результате они установили, что новый алгоритм значительно превосходит представленные ранее аналоги по многим параметрам.

«Наш метод не только обеспечивает генерацию видео высокого качества с реалистичной мимикой лица и движениями головы, но также поддерживает функцию онлайн-генерации видео 512×512 точек с частотой 40 кадров в секунду с незначительной начальной задержкой. Это открывает путь к взаимодействию в реальном времени с реалистичными аватарами, имитирующими поведение человека во время разговора», — говорится в сообщении Microsoft.

Другими словами, нейросеть может создавать качественные фейковые видео на основе всего одного изображения. Поэтому не удивительно, что Microsoft называет VASA-1 «исследовательской демонстрацией» и не планирует выводить его на коммерческий рынок, по крайней мере, в ближайшее время.


window-new
Soft
Hard
Тренды 🔥
Утечка: в открытый доступ попали наработки CD Projekt Red по отменённому дополнению к Cyberpunk 2077 на Луне 3 мин.
Хакеры рассказали, что похитили данные миллионов людей у Snowflake, взломав EPAM Systems 18 мин.
Alone in the Dark станет последней игрой Pieces Interactive — студию разработчиков Magicka 2 закрыла Embracer 4 ч.
На YouTube выложили полтора часа официального геймплея Elden Ring: Shadow of the Erdtree, а Bandai Namco предупредила игроков о спойлерах 5 ч.
Team Spirit стала чемпионом турнира Blast Premier: Spring Final 2024 по Counter-Strike 2, обыграв в финале NAVI 5 ч.
InXile посмеялась над утечкой сроков выхода Clockwork Revolution — стимпанковой RPG про путешествия во времени 6 ч.
Тодд Говард раскрыл масштаб дополнения Shattered Space к Starfield и подтвердил планы на будущие аддоны 6 ч.
Британский хакер, специалист по подмене сим-карт, арестован за взломы криптокошельков 12 ч.
В iOS 18 можно заменить «Привет, Siri» на любую другую фразу 12 ч.
Проблемы в Windows 11 продолжаются — новые сборки «съедают» ресурсы процессора 18 ч.
Logitech представила электронное перо MX Ink для VR-гарнитур Meta Quest 5 мин.
OnePlus и CATL разработали революционный аккумулятор для мобильных устройств 16 мин.
Робот-пылесос Dreame L10s Ultra и беспроводной пылесос Dreame J20 сделают уборку помещений простой и эффективной 4 ч.
Электролёт AeroHT X2 дочерней компании XPeng совершил первый полёт в небе над Пекином 4 ч.
Анонсированы смартфоны Oukitel C50, WP50 и WP39 с чипами MediaTek Dimensity 5G 4 ч.
Rambus представила набор решений PCIe 7.0, включая высокопроизводительный контроллер 5 ч.
Минпромторг РФ приостановил выделение субсидий на радиоэлектронику и проверит использование уже выделенных средств 5 ч.
Беспроводные колонки Tronsmart Halo 200 и T7, а также наушники Sounfii R4 для летнего отдыха 5 ч.
400G/800G для ИИ: спрос на оптическое сетевое оборудование для ЦОД растёт 6 ч.
Kioxia впервые за 20 месяцев перестала сокращать объёмы выпуска флеш-памяти 7 ч.