Сегодня 22 декабря 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → runway ai

Runway представила Act-One — ИИ, который анимирует персонажей по видео с реальными людьми

Нью-йоркский стартап Runway анонсировал систему Act-One, которая позволяет на основе видеозаписи с выступлением человека переносить выражения его лица на любой другой персонаж с сохранением всех нюансов мимики.

 Источник изображений: runwayml.com

Источник изображений: runwayml.com

Компания начала развёртывать Act-One с сегодняшнего дня — система доступна без дополнительной платы, а воспользоваться ей смогут зарегистрированные пользователи, на чьём лицевом счёте достаточно средств для работы с генератором видео Gen-3 Alpha, который Runway представила в этом году.

Анимация лица является одной из наиболее трудных задач в кинопроизводстве — для работы с ней традиционно используется сложное оборудование для захвата движения, которое фиксирует перемещение нанесённых на лицо актёра исходных точек. Системы на основе искусственного интеллекта призваны сделать этот процесс намного доступнее: Runway Act-One позволяет создавать анимацию мимики в различных стилях и жанрах без необходимости в оборудовании для захвата движения и без потребности рисовать точки на лице актёра.

Важным достоинством Act-One является способность системы обеспечивать кинематографическое качество и реалистичные результаты при разных ракурсах и фокусных расстояниях камеры. Один актёр, используя только камеру потребительского класса, может сыграть несколько персонажей сразу — модель ИИ генерирует выходной поток любого вида, будь то фотореализм или мультипликация, и сложность сцены роли не играет. Это поможет при съёмке независимого кино или в цифровых медиа, которые традиционно не имели доступа к производственным ресурсам высокого качества.

Система переноса мимики Act-One оснащена комплексным набором средств безопасности: попытки создания контента с участием публичных персон обнаруживаются и блокируются, применяются технические инструменты для проверки прав на использование голоса. Постоянный мониторинг призван гарантировать ответственное использование платформы.

Runway уличили в использовании YouTube и пиратских фильмов для обучения ИИ-модели

Компания Runway, занимающаяся разработкой инструментов для генерации видео на основе искусственного интеллекта, оказалась в центре скандала. Издание 404 Media опубликовало расследование, в котором утверждается, что Runway использовала для обучения ИИ-модели тысячи видео с YouTube, включая контент известных медиакомпаний и популярных блогеров, не имея на это разрешения.

 runwayml.com

runwayml.com

По сообщению The Verge, 404 Media получило доступ к таблице с данными, которые предположительно использовались Runway для обучения своего ИИ. В ней содержатся ссылки на каналы YouTube таких компаний, как Netflix, Disney, Nintendo и Rockstar Games, а также популярных блогеров, таких как MKBHD, Linus Tech Tips и Sam Kolder. Кроме того, в таблице были обнаружены ссылки на новостные издания, включая The Verge, The New Yorker, Reuters и Wired.

По словам бывшего сотрудника Runway, эта таблица состоит из списка каналов, которые «являются результатом усилий всей компании по поиску качественных видео для построения модели». Затем эти ссылки использовались в качестве входных данных для веб-сканера, который загружал контент, используя прокси-серверы, дабы избежать блокировок со стороны Google.

Помимо каналов YouTube, обнаружены данные, содержащие ссылки на пиратские сайты, которые демонстрируют лицензионные фильмы бесплатно. Правда пока не ясно, использовала ли Runway эти фильмы для обучения своей модели Gen-3 Alpha, но, как поясняет The Verge, узнать это будет, скорее всего, невозможно. Издание обратилась к Runway с просьбой прокомментировать ситуацию, но пока не получила ответа.

Стоит отметить, что Runway — не единственная компания, использующая YouTube для обучения ИИ-моделей. Ранее в этом году технический директор OpenAI Мира Мурати (Mira Murati) заявила, что не уверена, обучалась ли их ИИ-модель для генерации Full HD-видео Sora на контенте из YouTube. Кроме того, недавнее совместное расследование компаний Proof News и Wired показало, что Anthropic, Apple, Nvidia и Salesforce обучали свои модели ИИ на более чем 170 000 видео с YouTube.

Runway представила ИИ-генератор реалистичных видео Gen-3 Alpha

Свою первую модель искусственного интеллекта для генерации видео нью-йоркский стартап Runway выпустил ещё в прошлом году, но с тех пор его работу затмили такие мощные проекты как OpenAI Sora и представленная на минувшей неделе Luma AI Dream Machine. Теперь компания решила ответить конкурентам, рассказав о новой модели Gen-3 Alpha.

 Источник изображений: runwayml.com

Источник изображений: runwayml.com

Нейросеть Gen-3 Alpha — это, как пообещал разработчик, «первая из грядущей серии моделей, обученных Runway на новой инфраструктуре, построенной для крупномасштабного мультимодального обучения». Это будут модели ИИ, способные «представлять и моделировать широкий спектр ситуаций и взаимодействий, подобных тем, что встречаются в реальном мире».

Новая система позволяет генерировать высококачественные, детализированные, высокореалистичные видеоролики длиной 10 секунд — их отличают широкий спектр эмоций у персонажей и движущаяся камера при «съёмке». На создание 5-секундного ролика уходят 45 секунд, а 10-секундные видео появляются за 90 секунд. Общий доступ к новой модели компания пока не открыла, но в «ближайшие дни», как уточнил технический директор Runway Анастасис Германидис (Anastasis Germanidis), ей смогут пользоваться платные подписчики платформы (от $15 в месяц или от $144 в год), а затем, уже в этом году, и все остальные.

Модель Gen-3 Alpha «обучена совместно на видео и изображениях» — это «совместная работа междисциплинарной группы исследователей, инженеров и художников», но происхождение всех материалов из обучающего массива в компании не раскрыли. «У нас есть внутренняя исследовательская группа, которая осуществляет надзор за нашим обучением, и для обучения наших моделей мы применяем тщательно отобранные внутренние наборы данных», — пояснил представитель Runway.

Компания также «сотрудничает с ведущими развлекательными и медийными организациями в области создания индивидуальных версий Gen-3», что «позволит генерировать более стилистически управляемых и последовательных персонажей и поможет ориентироваться на конкретные художественные и повествовательные требования, среди прочего», рассказал разработчик. Конкретные имена не называются, но известно, что продукты Runway в своих работах использовали режиссёры таких лент как «Всё везде и сразу» (Everything, Everywhere, All at Once) и «Народный Джокер» (The People’s Joker). На сайте компании есть форма запроса, которую могут заполнить рассчитывающие на сотрудничество компании — для них разработчик подготовит собственную версию Gen-3 Alpha. Стоимость такой модели не уточняется.

Runway AI создала ИИ для генерации видео по текстовому описанию, но у него «иногда машины могут улететь»

Разработчики генеративных нейросетей добились значительного успеха в создании статических изображений, подтверждением чему служат набравшие популярность модели, такие как Dall-E и Stable Diffusion. Теперь же стартап Runway AI представил нейросеть, способную генерировать по текстовому описанию короткие видеоролики.

 Источник изображения: Runway AI

Источник изображения: Runway AI

Генеративная нейросеть Gen 2 от Runway AI способна создавать короткие видео, опираясь на текстовое описание всего из нескольких слов. Достаточно написать, например, «кошка, идущая под дождём», после чего ИИ-алгоритм сгенерирует 3-секундное видео, демонстрирующее именно это или что-то очень похожее. В дополнение к этому пользователь может загрузить изображение, которое станет для алгоритма своеобразной подсказкой.

Сейчас нейросеть Runway AI доступна не всем. На данном этапе желающим испытать нейросеть в деле необходимо зарегистрироваться на сайте разработчиков и добавить себя в лист ожидания. Отметим, что Runway AI занимается разработкой инструментов на основе искусственного интеллекта с 2018 года и в прошлом году компания сумела привлечь $50 млн инвестиций. Стартап помогал в разработке оригинальной версии Stable Diffusion, которая способна генерировать изображения по текстовому описанию.

Во время демонстрации возможностей ИИ попросили создать видео «съёмки пустынного пейзажа с дрона». Несколько минут нейросеть обрабатывала запрос, но в конечном счёте ей удалось создать ролик, который соответствует предложенному описанию. Несколько других роликов раскрывают сильные и слабые стороны ИИ-алгоритма. Разработчики отмечают, что модель ещё не до конца «разобралась», как более точно изображать движущиеся объекты. «Вы можете сгенерировать автомобильную погоню, но иногда машины могут улететь», — отметили в Runway AI.

Также Gen 2 способна менять уже готовые видео, накладывая маски, добавлять стилизацию или даже полностью перестраивая картинку. Например, с помощью масок получились заменить на видео лабрадора на далматинца. Также ИИ смог превратить несколько поставленных на ребро блокнотов в ночной мегаполис. Либо из очень упрощенной 3D-модели сделать почти что кинематографическую картинку. Ещё ИИ способен анимировать фотографии.

Представленный алгоритм Gen 2 является логическим продолжением созданной ранее нейросети Gen 1. Тестирование алгоритма с привлечением небольшого числа пользователей началось в феврале. В настоящее время к этому процессу привлечены тысячи пользователей. Согласно имеющимся данным, в разработчики изучают возможность добавления к генерируемым видео звука, поскольку на данном этапе ИИ-алгоритм создаёт видео без звука.


window-new
Soft
Hard
Тренды 🔥
Foxconn немного охладела к покупке Nissan, но вернётся к этой теме, если слияние с Honda не состоится 5 ч.
В следующем году выйдет умная колонка Apple HomePod с 7-дюймовым дисплеем и поддержкой ИИ 6 ч.
Продажи AirPods превысили выручку Nintendo, они могут стать третьим по прибыльности продуктом Apple 6 ч.
Прорывы в науке, сделанные ИИ в 2024 году: археологические находки, разговоры с кашалотами и сворачивание белков 14 ч.
Arm будет добиваться повторного разбирательства нарушений лицензий компанией Qualcomm 18 ч.
Поставки гарнитур VR/MR достигнут почти 10 млн в 2024 году, но Apple Vision Pro занимает лишь 5 % рынка 20 ч.
Первая частная космическая станция появится на два года раньше, но летать на неё будет нельзя 21 ч.
В США выпущены федеральные нормы для автомобилей без руля и педалей 22 ч.
Для невыпущенного суперчипа Tachyum Prodigy выпустили 1600-страничное руководство по оптимизации производительности 23 ч.
Qualcomm выиграла в судебном разбирательстве с Arm — нарушений лицензий не было 21-12 08:39