Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

Источник изображения: youtube.com/@ai_beauty303

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).

В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.

Apple представила очередной инструмент на основе искусственного интеллекта — теперь это генератор анимации Keyframer, основанный на большой языковой модели. Система анимирует готовые векторные изображения по запросу в формате естественного языка.

Авторы проекта отметили, что сегодня существует множество ИИ-генераторов изображений, работающих на основе текстовых описаний — в частности, Dall-E и Midjourney. Но анимация требует более сложного набора параметров, в том числе продолжительности сцены и координации движения объектов, которые непросто указать в едином описании задачи, поэтому могут потребоваться альтернативные средства, в том числе уточнение команды.

Этих целей удалось достичь в системе Keyframer — она создаёт анимированные иллюстрации из статических двухмерных картинок. Команды обрабатываются нейросетью GPT-4; в качестве исходного используется изображение формата SVG (Scalable Vector Graphic), а на выходе получается анимирующий картинку код CSS. Пользователь может уточнить этот код, отредактировав его вручную или задав дополнительную текстовую команду.

Источник изображения: Apple

Разработчики продемонстрировали Keyframer профессиональным дизайнерам по анимации и инженерам — их отзывы были положительными. Они, в частности, отметили, что подобный инструмент способен сэкономить время: чтобы достичь результата, полученного ИИ, вручную, может уйти несколько часов.

Apple в последние месяцы выпускает исследовательские проекты, связанные с технологиями ИИ — на минувшей неделе это был бесплатный редактор изображений MGIE. Компания не позиционирует себя как лидера в области ИИ, но не собирается обходить эту область стороной: в этом году Тим Кук (Tim Cook) пообещал сделать важное заявление.

Команда разработчиков «Яндекса» представила новую диффузионную нейросеть Yandex AI Rendering Technology (YandexART), которая создаёт изображения и анимацию в ответ на текстовые запросы пользователей.

Примеры созданных YandexART изображений (источник: пресс-служба «Яндекса»)

YandexART формирует изображения и анимацию методом каскадной диффузии: сначала нейросеть генерирует картинки и кадры в соответствии с запросом пользователя, а затем поэтапно увеличивает их разрешение, насыщая деталями. В качестве обучающего набора данных были задействованы 330 млн изображений с текстовым описанием. Также разработчиками был реализован новый алгоритм распознавания текстов, помогающий нейросети лучше понимать пожелания пользователей.

Отличительной особенностью YandexART является понимание российского культурного кода — нейросеть знает известные места и города страны, выдающихся личностей разных эпох и знакомых с детства персонажей мультфильмов и сказок. Например, Чебурашку, богатырей и Бабу-Ягу.

Нейросеть уже интегрирована в мобильное приложение «Шедеврум» и помогает иллюстрировать рекламные объявления в «Яндекс Бизнесе». Вскоре YandexART появится в «Яндекс Клавиатуре» и других сервисах компании.

В одной из ближайших бета-версий десктопного приложения WhatsApp появятся анимированные смайлики, а впоследствии они доберутся до веб-клиента и приложений под Android и iOS. Об этом сообщил ресурс WABetaInfo.

Источник изображения: wabetainfo.com

Сайт опубликовал изображение, демонстрирующее новую функцию в действии — отплясывающий смайлик на тему вечеринки. Предполагается, что если в наборе WhatsApp есть анимированная версия смайлика, то она при клике и станет выводиться в чат, а у пользователя никакого выбора не будет, то есть отказаться от анимированного изображения он не сможет.

При разработке анимированных смайликов предположительно используется библиотека Lottie — это означает минимальный размер файлов и масштабирование без потери качества изображения. Приток новых пользователей WhatsApp анимированные эмодзи едва ли обеспечат, но мессенджер станет немного приятнее в использовании. Тем более, что конкурирующие приложения, включая Google Сообщения, Apple iMessage и Telegram их поддержкой уже обзавелись, так что WhatsApp здесь оказывается в позиции догоняющего.

Компания Meta✴ Platforms сделала общедоступным сервис Animated Drawing, с помощью которого любой желающий может вдохнуть жизнь в свои рисунки. Данный инструмент построен на основе нейросетей и предназначен для того, чтобы превращать рисунки в анимированные изображения.

Источник изображения: Meta✴

Первоначальная версия Animated Drawing была запущена командой разработчиков Fundamental AI Research в 2021 году. Теперь же проект с открытым исходным кодом продолжает развиваться, и в Meta✴ считают, что сторонние разработчики помогут ускорить этот процесс. На данном этапе сервис способен генерировать разные анимации на основе исходного изображения, загруженного пользователем.

Для начала взаимодействия с Animated Drawing достаточно на стартовой странице сервиса загрузить собственный рисунок, на котором изображён какой-либо персонаж. Далее пользователю будет предложено изменить размер окна захвата изображения, а после обработки снимка можно скорректировать получившийся результат для достижения лучшего результата. В конечном итоге пользователь увидит анимированную версию своего персонажа, а также сможет выбирать разные варианты анимации, сгруппированные по нескольким категориям.

В работе Animated Drawing используются алгоритмы обнаружения объектов, оценки позы, сегментации на основе обработки изображений. В дополнение к этому используются традиционные методы компьютерной графики в процессе анимации. За несколько месяцев с момента запуска демо-версии сервиса Meta✴ получила разрешение пользователей на использование более 1,6 млн изображений для обучения алгоритма.

Epic Games продемонстрировала на мероприятии GDC 2023 инструмент MetaHuman Animator — он предназначен для создания реалистичной мимики при помощи технологии захвата движения, причём для его работы хватит камеры мобильного телефона.

Источник изображения: youtube.com/@officialninjatheory

Возможности MetaHuman Animator показаны на примере отрывка из находящейся в разработке игры Senua's Saga: Hellblade II от Ninja Theory. Исполняющая роль главной героини актриса Мелина Юргенс (Melina Juergens) разыграла сцену, которую повторил её персонаж. При работе в студии использовались дорогие камеры, предназначенные для захвата движения, поэтому результат получился потрясающим. Хотя технология позволяет применять практически любую камеру, и это может сильно упростить задачу независимым создателям игр, которые ищут простые способы анимировать персонажей.

Основу технологии MetaHuman составили алгоритмы искусственного интеллекта и обширная база данных лицевой анимации. Epic Games получила этот набор данных, поглотив несколько компаний, специализирующихся на технологиях захвата движения, в том числе Cubic Motion, 3Lateral и Hyprsense — новые возможности MetaHuman Animator обеспечивают работу решения в реальном времени. Релиз обновлённого инструмента ожидается этим летом.

Уже летом у одного из крупнейших производителей российских мультфильмов истекают лицензии на необходимый для работы западный софт. С оборудованием дела обстоят несколько лучше — его запасов хватит ещё на два или три года вперёд, сообщила в интервью РБК глава ГК «Рики», ответственной за франшизы «Смешарики» и «Фиксики», Юлия Немчина.

Источник изображения: ThisisEngineering RAEng / unsplash.com

Почти все работающие в российской анимационной индустрии компании активно используют в производстве зарубежное ПО, и сейчас отрасль затронула проблема истечения лицензий на него. «Пока мы продолжаем работу на старых лицензиях, они будут действовать до лета. Дальше остаётся только надеяться, что совместная работа с профильным Министерством цифрового развития поможет найти новые решения», — отметила глава ГК «Рики».

Вопрос оборудования так остро не стоит — пока хватает имеющихся запасов, которые в случае производителя «Смешариков» были закуплены ещё в 2021 году, то есть до массового введения санкций в отношении России. «Мы традиционно прогнозируем загрузку наших мощностей на два-три года вперёд, и ещё тогда запланировали наращивание объёмов производства», — добавила госпожа Немчина.

В других областях российской индустрии развлечений некоторые сложности с оборудованием наблюдаются, напомнило РБК. Летом 2022 года «Ленфильм» опубликовал отчёт за 2021 год, в котором отметил сложности с импортозамещением оборудования для кинопроизводства: к нему предъявляются очень высокие требования, и спрос на российскую продукцию отсутствует. Поставщик концертного оборудования «Арис» также сообщил, что под санкциями оказались и поставки концертного оснащения: микшеров, усилителей, процессоров и конструкций для подвеса колонок.