Runway представила Act-One — ИИ, который анимирует персонажей по видео с реальными людьми

Нью-йоркский стартап Runway анонсировал систему Act-One, которая позволяет на основе видеозаписи с выступлением человека переносить выражения его лица на любой другой персонаж с сохранением всех нюансов мимики.

Источник изображений: runwayml.com

Компания начала развёртывать Act-One с сегодняшнего дня — система доступна без дополнительной платы, а воспользоваться ей смогут зарегистрированные пользователи, на чьём лицевом счёте достаточно средств для работы с генератором видео Gen-3 Alpha, который Runway представила в этом году.

Анимация лица является одной из наиболее трудных задач в кинопроизводстве — для работы с ней традиционно используется сложное оборудование для захвата движения, которое фиксирует перемещение нанесённых на лицо актёра исходных точек. Системы на основе искусственного интеллекта призваны сделать этот процесс намного доступнее: Runway Act-One позволяет создавать анимацию мимики в различных стилях и жанрах без необходимости в оборудовании для захвата движения и без потребности рисовать точки на лице актёра.

Важным достоинством Act-One является способность системы обеспечивать кинематографическое качество и реалистичные результаты при разных ракурсах и фокусных расстояниях камеры. Один актёр, используя только камеру потребительского класса, может сыграть несколько персонажей сразу — модель ИИ генерирует выходной поток любого вида, будь то фотореализм или мультипликация, и сложность сцены роли не играет. Это поможет при съёмке независимого кино или в цифровых медиа, которые традиционно не имели доступа к производственным ресурсам высокого качества.

Система переноса мимики Act-One оснащена комплексным набором средств безопасности: попытки создания контента с участием публичных персон обнаруживаются и блокируются, применяются технические инструменты для проверки прав на использование голоса. Постоянный мониторинг призван гарантировать ответственное использование платформы.