TikTok представила несколько новых инструментов на базе генеративного ИИ, которые призваны помочь организациям и создателям контента расширить свою аудиторию с помощью настраиваемых цифровых аватаров и функций языкового дубляжа. Новые инструменты, добавленные в пакет Symphony, призваны, по словам TikTok, «разрушить языковые барьеры в маркетинге и позволить брендам добавлять человечности в свой контент».

Источник изображения: unsplash.com

Новые цифровые аватары Symphony доступны в двух вариантах: стандартном и индивидуальном. Стандартные аватары основаны на лицензированных образах актёрах разного происхождения, национальностей и языков. Они доступны для коммерческого использования.

Пользовательские аватары нацелены на придание сходства с конкретным создателем или представителем бренда. Они способны говорить на нескольких языках, что позволяет аккаунтам, использующим их, охватить иностранную аудиторию. Независимо от используемого аватара, все видео с его участием помечаются значком «Создано ИИ».

Многоязычная поддержка обеспечивается Symphony AI Dubbing — инструментом перевода, который позволяет создателям и маркетологам дублировать свой контент на более чем десять языков и диалектов, включая французский, испанский, португальский, немецкий и корейский. TikTok утверждает, что инструмент автоматически определяет язык видео и способен расшифровывать, переводить и дублировать его на любой язык, выбранный пользователем.

По словам посмотревших демонстрационное видео от TikTok с пользовательским цифровым аватаром, «оно немного странное, но выглядит достаточно естественно и убедительно».

Информация о ценах на новые маркетинговые инструменты TikTok на основе генеративного ИИ пока не опубликована.

Компания из Швеции Pophouse вступила в переговоры с Sony Music и Authentic Brands Group — владельцами прав на музыку и образ умершего в 1977 году «короля рок-н-ролла» Элвиса Пресли (Elvis Presley) — на предмет покупки прав на создание его цифрового аватара. Он сможет использоваться для организации концертов, передаёт Financial Times со ссылкой на собственные источники.

Источник изображения: ARC / pixabay.com

Шведская компания Pophouse не претендует на покупку всех прав на образ и творчество певца — она стремится заключить партнёрское соглашение с Sony Music и Authentic Brands, в рамках которого будет разработан цифровой аватар певца, а также организованы концерты с его участием. Пока даже отсутствует даже уверенность в том, что трём сторонам удастся договориться, и соглашение будет заключено.

Среди учредителей Pophouse числится бывший участник квартета ABBA Бьорн Ульвеус (Björn Ulvaeus). У компании уже есть опыт в организации подобных мероприятий: с 2022 года она проводит концерты ABBA Voyage, в которых принимают участие цифровые аватары членов квартета. В этом году Pophouse также заплатила $300 млн за аналогичные права на образы участников группы Kiss, и уже готовится концертная программа, в которой будут участвовать их цифровые аватары.

Компания Nvidia анонсировала на Computex 2024 открытие широкого доступа к своим микросервисам ACE (Avatar Cloud Engine) на базе генеративного искусственного интеллекта, которые ускорят создание реалистичных виртуальных персонажей для игр, приложений VR и обслуживания клиентов в сфере медицины и не только.

Источник изображения: Nvidia

Генеральный директор Nvidia Дженсен Хуанг (Jensen Huang) заявил, что цифровые люди кардинально изменят многие отрасли. По его словам, технологии компании, такие как мультимодальные большие языковые модели и нейронная графика, приближают нас к эре «вычислений, управляемых намерениями». В этом будущем взаимодействие с компьютерами будет таким же естественным, как и общение между людьми.

Изначально сервисы ACE предоставлялись только для разработчиков в дата-центрах. Теперь же Nvidia адаптировала их для использования на персональных компьютерах и ноутбуках. В частности, компания представила языковую модель Nemotron-3 4.5B, а также модели Audio2Face и Riva ASR, которые скоро станут доступны. Для упрощения развёртывания ACE на ПК, Nvidia разработала специальный инструмент AI Inference Manager. Он автоматически настраивает все необходимые компоненты и модели ИИ, координируя их работу как локально на устройстве, так и в облаке.

Также на Computex 2024 была продемонстрирована обновленная версия технологии Covert Protocol, созданная совместно с компанией Inworld AI. Технология позволяет игрокам с помощью голоса взаимодействовать с цифровыми персонажами, используя модели Audio2Face и Riva ASR, работающие на ПК с видеокартами GeForce RTX.

Как отмечается на сайте Nvidia, Avatar Cloud Engine уже применяют такие компании, как Aww, Dell, Gumption, Hippocratic AI, Inventec, OurPalm, Perfect World Games, Reallusion, ServiceNow, Soulbotix, SoulShell и UneeQ. Они используют ACE для создания виртуальных помощников, персонажей в играх и приложениях VR.

Например, японская компания Aww, специализирующаяся на виртуальных «людях», теперь будет использовать Audio2Face для анимации своих персонажей в реальном времени. А разработчик игр Perfect World Games интегрировал ACE в демоверсию Legends для создания интерактивного ИИ-персонажа, который может общаться на английском и китайском языках.

Благодаря доступности этих мощных сервисов генеративного ИИ от Nvidia теперь ещё больше компаний смогут создавать реалистичных виртуальных агентов для сферы обслуживания, маркетинга, образования, медицины и других областей, что открывает новые перспективы для развития цифровых аватаров и вычислений, управляемых естественным языком (NLP).

Meta✴ добавила новые возможности кастомизации аватаров в последнем обновлении ПО Quest v57. Теперь в конструкторе аватаров можно точно подобрать необходимый оттенок кожи, волос и бровей, добавить макияж и раскраску лица, то есть более точно передать, как пользователь видит себя в реальной жизни, рассказали в Meta✴.

Источник изображения: Meta✴

Компания опубликовала скриншот обновлённой версии приложения, на котором видны ползунки, помогающие выбрать оттенок для цвета волос — предыдущая версия ПО Meta✴ Quest позволяла выбирать лишь из готового набора цветов, не давая корректировать оттенки. Доступны также несколько новых вариантов макияжа: на лицо аватара можно нанести румяна или краску для лица. Недавно некоторые пользователи виртуальной платформы смогли увидеть и ноги аватаров.

В обновлении Quest v57 появились и некоторые другие полезные функции: пользователи из Австралии, Канады, Исландии, Новой Зеландии, Южной Кореи, Швейцарии, Тайваня и США, например, получили возможность отменять отправку графических сообщений в мобильной и виртуальной версиях приложения Quest. А лента Explore с подборкой интересных приложений была переименована в Horizon. При этом исчезла возможность трансляции изображения с гарнитуры Quest в приложение для iPhone.

Более подробно о новых функциях Quest компания расскажет на мероприятии Connect, которое пройдёт 27 и 28 сентября. Там же будут раскрыты и новые подробности о гарнитуре Quest 3.

На ежегодной конференции разработчиков администрация игровой платформы Roblox поделилась планами по расширению аудитории. Ранее компания рассказала, что собирается разрешить контент для аудитории в возрасте от 17 лет, и функция видеозвонков с анимированными аватарами будет относиться к этой категории.

Источник изображения: blog.roblox.com

Пользователи Roblox Connect смогут созваниваться и проводить виртуальные встречи по видеосвязи в формате, по-своему сочетающем возможности Zoom и Apple Memoji. Roblox, в арсенале которой уже числятся наработки по технологиям захвата движений лица, предлагает проводить встречи в виртуальном пространстве — приводятся примеры пристани и кемпинга.

В ближайшем будущем аватары смогут достаточно точно передавать выражение лица пользователя, вплоть до моргания с той же частотой, пообещали разработчики. И одной только мимикой дело не ограничится — в компании работают над тем, чтобы более реалистично передавать движения всей верхней половины тела. Для этого, рассказали на презентации, используется технология захвата движений, прямо как в Голливуде, но адаптированная для работы на простых потребительских устройствах, без дополнительного оборудования.

Администрация Roblox также сообщила, что уже в октябре платформа станет доступной на консолях PS4 и PS5. Вслед за Fortnite проект активно расширяет кроссплатформенное присутствие, и владельцы приставок Sony помогут нарастить аудиторию.

У аватаров виртуальной платформы Meta✴ всё-таки появились ноги. Увидеть их можно преимущественно в стартовом пространстве Quest Home. Ранее представитель компании заявил на страницах официального сообщества о скором выходе Public Test Channel (PTC) платформы Quest v57 для гарнитур Meta✴ Quest Pro и Meta✴ Quest 2; а один из пользователей вскоре доложил, что у его аватара появились ноги.

Источник изображения: Meta✴

Новая функция развёртывается постепенно, указал пользователь соцсети X (бывшей Twitter) Брэд Линч (Brad Lynch). Пока посетители метавселенной Quest могут видеть их только в отражении виртуального зеркала, и аватары ещё не научились приседать вслед за пользователями. В виртуальной версии Horizon Worlds они ещё не появились, но их могут увидеть пользователи предварительных мобильной и веб-версий платформы. Среди прочих нововведений числятся обновлённые меню и оптимизированная функция отслеживания рук — улучшилось автоматическое переключение между управлением руками и контроллерами. В коде обнаружились также ссылки на новые функции: включение и отключение зеркала аватара, портал в Horizon Worlds из «дома», режим самолёта и режим увеличенного времени работы от батареи.

Meta✴ пообещала добавить ноги виртуальным аватарам уже более десяти месяцев назад — глава компании Марк Цукерберг (Mark Zuckerberg) признал, что эта функция, вероятно, является наиболее востребованной. Но уже тогда он предупредил, что реализовать её будет непросто: отслеживать их при помощи камер на гарнитурах очень затруднительно, поэтому придётся использовать алгоритмы искусственного интеллекта. Вероятно, более подробно об этом компания расскажет на мероприятии Meta✴ Connect, которое откроется 27 сентября. Но в основном речь пойдёт, конечно, о новой гарнитуре Quest 3.

Meta✴ сообщила, что пользователи Facebook✴ Messenger и Instagram✴ при использовании видеосвязьи смогут подменять своё изображение привязанным к профилю аватаром. Новая функция, видимо, знаменует собой очередной шаг к развёртываемой компанией экосистеме метавселенной.

Источник изображения: Meta✴

Судя по демонстрационному ролику, который опубликовал ответственный за проект метавселенной вице-президент Meta✴ Вишал Шах (Vishal Shah), система работает схожим образом с функцией Memoji при звонке по Apple FaceTime. Аватары Meta✴ повторяют мимику и артикуляцию пользователей, упрощая собеседнику виртуальное общение с трёхмерной моделью. Предложенная Meta✴ функция работает с юмором — аватар человека можно заменить изображением кошки, собаки, совы, ламы или другого тотемного животного.

Ещё одним нововведением стали анимированные стикеры на основе аватаров — их можно будет использовать в разделах Stories и Reels на Facebook✴ и в Instagram✴, в комментариях на Facebook✴, а также в личных чатах Facebook✴ Messenger и Instagram✴. Кроме того, в Meta✴ сообщили, что аватары в её семействе приложений и виртуальной реальности будут унифицированы по единому стандарту — они станут более реалистичными, а пользователи получат возможность хвастаться виртуальными предметами гардероба. Надо полагать, компания хочет подстегнуть продажи виртуальных нарядов.

Обозреватель The Wall Street Journal Джоанна Стерн (Joanna Stern) попыталась выяснить, насколько натуральным может получиться цифровой аватар человека, созданный с помощью передовых алгоритмов на базе генеративного ИИ. Результат эксперимента оказался пугающим, поскольку Джоанне удалось получить собственный цифровой клон, который смог ввести в заблуждение её родственников и обмануть систему голосовой идентификации банка.

Источник изображения: The Wall Street Journal

Для создания виртуального аватара Джоанна использовала инструмент Synthesia, который позиционируется разработчиками как сервис создания видеоаватаров на основе видео- и аудиозаписей реальных людей. После создания аватара пользователь может вводить любой текст, который виртуальный клон послушно повторяет. Исходным материалом для обучения алгоритма стали 30 минут видео и около двух часов аудиозаписей голоса Джоанны.

Стартап Synthesia берёт $1000 в год за создание и поддержку виртуального аватара, а также взимает с пользователей дополнительную ежемесячную плату. Через несколько недель цифровой клон журналиста был готов, после чего начались его испытания. Джоанна сгенерировала с помощью ChatGPT текст для TikTok-ролика про iOS и загрузила его в Synthesia, после чего аватар создал готовый видеоролик. У неё сложилось впечатление, что она смотрит в зеркало и видит своё отражение.

Однако на данном этапе технология не совсем идеальна. Если при воспроизведении коротких предложений аватар выглядит достаточно убедительным, то более длинные фразы дают понять, что их произносит не человек. Несмотря на то, что в TikTok далеко не все пользователи отличаются внимательностью, некоторые из подписчиков обратили внимание на то, что созданное с использованием виртуального аватара видео выглядит неестественно.

Аналогичная проблема обнаружилась при попытке использовать цифровой аватар во время видеозвонков в Google Meet. К некачественному воспроизведению длинных предложений добавилась то, что аватар всё время держит идеальную осанку и практически не движется. Несмотря на это, очевидно, что в скором времени видеоаватар станет более совершенным, поскольку в разработке Synthesia уже есть несколько бета-версий, способных кивать головой, поднимать и опускать брови, а также выполнять некоторые другие свойственные человеку движения.

Источник изображения: Joanna Stern / The Wall Street Journal

После проверки возможностей видеоаватара Джоанна решила испытать голосовой клон, созданный с помощью генеративного ИИ-алгоритма ElevenLabs. Потребовалось загрузить в сервис около 90 минут записей голоса, и менее чем через две минуты голосовой клон был готов. Аудиоаватар может воспроизводить любой текст голосом пользователя. За создание голосового клона ElevenLabs берёт от $5 в месяц.

По сравнению с видеоаватром от Synthesia, аудиоклон более похож на реального человека. Он добавляет в речь интонации, а само воспроизведение текста происходит более плавно. Сначала Джоанна позвонила сестре и использовала в беседе с ней голосовой клон. Отмечается, что сестра не сразу заметила подвох, но через некоторое время обратила внимание на то, что в процессе беседы голосовой клон не делает пауз, чтобы перевести дух. После этого был звонок отцу с просьбой напомнить номер социального страхования. Он сумел заметить подвох, поскольку голос Джоанны звучал как бы в записи. Несмотря на это, родственники журналиста не сразу заметили, что с ними общается не живой человек, хотя долго обманывать их не удалось.

Ещё один звонок был совершён в службу поддержки Chase Bank. Предварительно алгоритму были заданы несколько вопросов, на которые предстояло ответить в процессе голосовой идентификации банка. После непродолжительного общения Джоанну соединили с представителем банка, поскольку система идентификации голоса не обнаружила каких-либо проблем. Позднее представитель Chase сообщил, что банк использует голосовую идентификацию вместе с другими инструмента подтверждения личности клиентов, отметив, что идентификация по голосу позволяет перейти к общению с сотрудником поддержки, но с её помощью нельзя провести транзакцию или выполнить иную операцию.

Голос, который генерирует сервис ElevenLabs, оказался максимально похож на голос Джоанны. Он учитывал интонации и другие особенности речи. Любопытно, что для создания такого голосового клона достаточно загрузить в сервис несколько аудиозаписей и согласиться с правилами платформы, в которых говорится, что пользователь обязуется не использовать алгоритм в мошеннических целях. Это означает, что любой желающий может запросто сгенерировать голос кого-то из своих знакомых или знаменитостей.

Представитель ElevenLabs рассказал, что компания разрешает клонировать голос только владельцам платных аккаунтов. В случае нарушения политики платформы аккаунт пользователя будет заблокирован. Кроме того, разработчики планируют выпустить сервис, который позволит загружать в него любое аудио для проверки, использовался ли при его создании алгоритм ElevenLabs. Отмечается, что разработчики могут идентифицировать весь генерируемый пользователями контент для его фильтрации или применения иных мер к нарушителям, включая сотрудничество с правоохранительными органами.

Джоанна отметила, что каждый из используемых ей алгоритмов пока не в состоянии сделать копию, которую невозможно отличить от оригинала. ChatGPT генерировал текст, не опираясь на знания и опыт журналиста. Сервис Synthesia создал аватар, который хоть и выглядит похожим на человека, но не способен передать все характерные особенности пользователя. Наконец, система ElevenLabs генерирует очень похожую речь, но и она не идеальна. В дальнейшем ИИ-технологии продолжат развиваться и, вероятно, в будущем отличить виртуальный аватар от живого человека в процессе общения будет только сложнее.

С мая пользователи корпоративного мессенджера Microsoft Teams смогут подключать 3D-аватары, говорится в обновлённой версии дорожной карты Microsoft 365. Компания анонсировала эту функцию ещё в 2021 году, и в последние месяцы она тестировалась в закрытом формате.

Источник изображения: Microsoft

Аватары в Microsoft Teams будут актуальны для тех, кто не хочет позировать перед камерой во время рабочих совещаний: если человеку не нравится формат видеосвязи, или ему необходим перерыв, он сможет заменить своё изображение трёхмерной фигурой, которая будет двигаться сообразно звуковому сигналу пользователя — камера не потребуется вовсе.

Microsoft также планирует использовать эту технологию в специальной версии корпоративного мессенджера, который она в партнёрстве Meta✴ разрабатывает для гарнитур виртуальной реальности. Специальная версия клиента Teams позволит проводить рабочие встречи в виртуальном пространстве — все участники таких мероприятий будут представлены 3D-аватарами с летающими смайликами и базовой анимацией, например, с возможностью поднять руку, чтобы попросить слова. Однако на начальном этапе аватары появятся только в настольных версиях клиента под Windows и macOS.

Администрация Instagram✴ рассказала о новой функции динамического изображения профиля: теперь пользователи могут показывать сразу и своё фото, и привязанный к профилю 3D-аватар. Раньше приходилось между ними выбирать, теперь же эти изображения легко переключаются.

Источник изображения: Instagram✴

Meta✴ начала внедрять 3D-аватары в свои приложения ещё в 2020 году — тогда это был ответ на Bitmoji в Snapchat, и впоследствии компания начала распространять функцию на все свои приложения. В Instagram✴ трёхмерные аватары дебютировали в прошлом году, теперь же разработчик старается сделать их более заметными на платформе.

Настроить и добавить аватар можно в настройках своего профиля — он добавится к основному фото, и при открытии профиля пользователи смогут их «пролистывать» простыми свайпами. Трёхмерное изображение также доступно в Facebook✴, Facebook✴ Messenger и WhatsApp.

Несколько дней назад глава Instagram✴ Адам Моссери (Adam Mosseri) в серии вопросов и ответов с пользователями признал, что на платформе стало слишком много видео в ущерб фотографиям, хотя когда-то это была основная функция приложения. Поэтому он пообещал, что в 2023 году соцсеть будет уделять больше внимания фотографиям и заверил, что фото навсегда останутся важной частью платформы.