Нью-йоркский стартап Runway анонсировал систему Act-One, которая позволяет на основе видеозаписи с выступлением человека переносить выражения его лица на любой другой персонаж с сохранением всех нюансов мимики.

Источник изображений: runwayml.com

Компания начала развёртывать Act-One с сегодняшнего дня — система доступна без дополнительной платы, а воспользоваться ей смогут зарегистрированные пользователи, на чьём лицевом счёте достаточно средств для работы с генератором видео Gen-3 Alpha, который Runway представила в этом году.

Анимация лица является одной из наиболее трудных задач в кинопроизводстве — для работы с ней традиционно используется сложное оборудование для захвата движения, которое фиксирует перемещение нанесённых на лицо актёра исходных точек. Системы на основе искусственного интеллекта призваны сделать этот процесс намного доступнее: Runway Act-One позволяет создавать анимацию мимики в различных стилях и жанрах без необходимости в оборудовании для захвата движения и без потребности рисовать точки на лице актёра.

Важным достоинством Act-One является способность системы обеспечивать кинематографическое качество и реалистичные результаты при разных ракурсах и фокусных расстояниях камеры. Один актёр, используя только камеру потребительского класса, может сыграть несколько персонажей сразу — модель ИИ генерирует выходной поток любого вида, будь то фотореализм или мультипликация, и сложность сцены роли не играет. Это поможет при съёмке независимого кино или в цифровых медиа, которые традиционно не имели доступа к производственным ресурсам высокого качества.

Система переноса мимики Act-One оснащена комплексным набором средств безопасности: попытки создания контента с участием публичных персон обнаруживаются и блокируются, применяются технические инструменты для проверки прав на использование голоса. Постоянный мониторинг призван гарантировать ответственное использование платформы.

Компания Runway, занимающаяся разработкой инструментов для генерации видео на основе искусственного интеллекта, оказалась в центре скандала. Издание 404 Media опубликовало расследование, в котором утверждается, что Runway использовала для обучения ИИ-модели тысячи видео с YouTube, включая контент известных медиакомпаний и популярных блогеров, не имея на это разрешения.

runwayml.com

По сообщению The Verge, 404 Media получило доступ к таблице с данными, которые предположительно использовались Runway для обучения своего ИИ. В ней содержатся ссылки на каналы YouTube таких компаний, как Netflix, Disney, Nintendo и Rockstar Games, а также популярных блогеров, таких как MKBHD, Linus Tech Tips и Sam Kolder. Кроме того, в таблице были обнаружены ссылки на новостные издания, включая The Verge, The New Yorker, Reuters и Wired.

По словам бывшего сотрудника Runway, эта таблица состоит из списка каналов, которые «являются результатом усилий всей компании по поиску качественных видео для построения модели». Затем эти ссылки использовались в качестве входных данных для веб-сканера, который загружал контент, используя прокси-серверы, дабы избежать блокировок со стороны Google.

Помимо каналов YouTube, обнаружены данные, содержащие ссылки на пиратские сайты, которые демонстрируют лицензионные фильмы бесплатно. Правда пока не ясно, использовала ли Runway эти фильмы для обучения своей модели Gen-3 Alpha, но, как поясняет The Verge, узнать это будет, скорее всего, невозможно. Издание обратилась к Runway с просьбой прокомментировать ситуацию, но пока не получила ответа.

Стоит отметить, что Runway — не единственная компания, использующая YouTube для обучения ИИ-моделей. Ранее в этом году технический директор OpenAI Мира Мурати (Mira Murati) заявила, что не уверена, обучалась ли их ИИ-модель для генерации Full HD-видео Sora на контенте из YouTube. Кроме того, недавнее совместное расследование компаний Proof News и Wired показало, что Anthropic, Apple, Nvidia и Salesforce обучали свои модели ИИ на более чем 170 000 видео с YouTube.

Свою первую модель искусственного интеллекта для генерации видео нью-йоркский стартап Runway выпустил ещё в прошлом году, но с тех пор его работу затмили такие мощные проекты как OpenAI Sora и представленная на минувшей неделе Luma AI Dream Machine. Теперь компания решила ответить конкурентам, рассказав о новой модели Gen-3 Alpha.

Источник изображений: runwayml.com

Нейросеть Gen-3 Alpha — это, как пообещал разработчик, «первая из грядущей серии моделей, обученных Runway на новой инфраструктуре, построенной для крупномасштабного мультимодального обучения». Это будут модели ИИ, способные «представлять и моделировать широкий спектр ситуаций и взаимодействий, подобных тем, что встречаются в реальном мире».

Новая система позволяет генерировать высококачественные, детализированные, высокореалистичные видеоролики длиной 10 секунд — их отличают широкий спектр эмоций у персонажей и движущаяся камера при «съёмке». На создание 5-секундного ролика уходят 45 секунд, а 10-секундные видео появляются за 90 секунд. Общий доступ к новой модели компания пока не открыла, но в «ближайшие дни», как уточнил технический директор Runway Анастасис Германидис (Anastasis Germanidis), ей смогут пользоваться платные подписчики платформы (от $15 в месяц или от $144 в год), а затем, уже в этом году, и все остальные.

Модель Gen-3 Alpha «обучена совместно на видео и изображениях» — это «совместная работа междисциплинарной группы исследователей, инженеров и художников», но происхождение всех материалов из обучающего массива в компании не раскрыли. «У нас есть внутренняя исследовательская группа, которая осуществляет надзор за нашим обучением, и для обучения наших моделей мы применяем тщательно отобранные внутренние наборы данных», — пояснил представитель Runway.

Компания также «сотрудничает с ведущими развлекательными и медийными организациями в области создания индивидуальных версий Gen-3», что «позволит генерировать более стилистически управляемых и последовательных персонажей и поможет ориентироваться на конкретные художественные и повествовательные требования, среди прочего», рассказал разработчик. Конкретные имена не называются, но известно, что продукты Runway в своих работах использовали режиссёры таких лент как «Всё везде и сразу» (Everything, Everywhere, All at Once) и «Народный Джокер» (The People’s Joker). На сайте компании есть форма запроса, которую могут заполнить рассчитывающие на сотрудничество компании — для них разработчик подготовит собственную версию Gen-3 Alpha. Стоимость такой модели не уточняется.

Разработчики генеративных нейросетей добились значительного успеха в создании статических изображений, подтверждением чему служат набравшие популярность модели, такие как Dall-E и Stable Diffusion. Теперь же стартап Runway AI представил нейросеть, способную генерировать по текстовому описанию короткие видеоролики.

Источник изображения: Runway AI

Генеративная нейросеть Gen 2 от Runway AI способна создавать короткие видео, опираясь на текстовое описание всего из нескольких слов. Достаточно написать, например, «кошка, идущая под дождём», после чего ИИ-алгоритм сгенерирует 3-секундное видео, демонстрирующее именно это или что-то очень похожее. В дополнение к этому пользователь может загрузить изображение, которое станет для алгоритма своеобразной подсказкой.

Сейчас нейросеть Runway AI доступна не всем. На данном этапе желающим испытать нейросеть в деле необходимо зарегистрироваться на сайте разработчиков и добавить себя в лист ожидания. Отметим, что Runway AI занимается разработкой инструментов на основе искусственного интеллекта с 2018 года и в прошлом году компания сумела привлечь $50 млн инвестиций. Стартап помогал в разработке оригинальной версии Stable Diffusion, которая способна генерировать изображения по текстовому описанию.

Во время демонстрации возможностей ИИ попросили создать видео «съёмки пустынного пейзажа с дрона». Несколько минут нейросеть обрабатывала запрос, но в конечном счёте ей удалось создать ролик, который соответствует предложенному описанию. Несколько других роликов раскрывают сильные и слабые стороны ИИ-алгоритма. Разработчики отмечают, что модель ещё не до конца «разобралась», как более точно изображать движущиеся объекты. «Вы можете сгенерировать автомобильную погоню, но иногда машины могут улететь», — отметили в Runway AI.

Также Gen 2 способна менять уже готовые видео, накладывая маски, добавлять стилизацию или даже полностью перестраивая картинку. Например, с помощью масок получились заменить на видео лабрадора на далматинца. Также ИИ смог превратить несколько поставленных на ребро блокнотов в ночной мегаполис. Либо из очень упрощенной 3D-модели сделать почти что кинематографическую картинку. Ещё ИИ способен анимировать фотографии.

Представленный алгоритм Gen 2 является логическим продолжением созданной ранее нейросети Gen 1. Тестирование алгоритма с привлечением небольшого числа пользователей началось в феврале. В настоящее время к этому процессу привлечены тысячи пользователей. Согласно имеющимся данным, в разработчики изучают возможность добавления к генерируемым видео звука, поскольку на данном этапе ИИ-алгоритм создаёт видео без звука.