Nvidia объявила, что её решение Audio2Face теперь доступно по открытой демократичной лицензии MIT. Этот инструмент на основе генеративного искусственного интеллекта предназначается для анимации лиц у игровых персонажей и синхронизации движений их губ со звуковым потоком.
Источник изображений: nvidia.com
Nvidia Audio2Face анализирует звук речи, учитывая фонемы, интонацию, эмоциональный тон, и генерирует потоки данных, которые впоследствии можно применять к трёхмерным персонажам, делая их поведение более выразительным и реалистичным. Модель в формате плагинов подключается к Autodesk Maya и Unreal Engine 5; Nvidia также подготовила SDK, фреймворк для обучения и примеры наборов данных.
Создатели игр могут самостоятельно дорабатывать существующие модели или адаптировать их для своих проектов, расширяя первоначальные возможности Audio2Face. Для синхронизации губ могут применяться регрессионные и диффузионные модели ИИ, доступны также нейросети Audio2Emotion, предназначенные для распознавания эмоционального состояния персонажа по его голосу.
Технология Nvidia Audio2Face уже используется в производстве игр. Farm 51 подключала её к созданию Chernobylite 2: Exclusion Zone, чтобы ускорить процесс анимации и сделать артикуляцию персонажей более естественной. С ней работают также студии Codemasters, GSC Game World, NetEase, Perfect World, Convai, Inworld AI, Reallusion, Streamlabs и UneeQ. Система позволяет обходиться без традиционных методов захвата движений, за что её ценят студии, которые стремятся ускорить разработку.
Nvidia позиционирует Audio2Face как средство из набора ИИ-инструментов RTX Kit для разработчиков — в него также входят SDK для нейронного сжатия текстур и глобального освещения. Выпуская решение как продукт с открытым исходным кодом, компания даёт разработчикам возможность адаптировать его к более широкому спектру приложений.
