Сегодня 01 октября 2023
18+
MWC 2018 2018 Computex IFA 2018
Новости Software

Runway AI создала ИИ для генерации видео по текстовому описанию, но у него «иногда машины могут улететь»

Разработчики генеративных нейросетей добились значительного успеха в создании статических изображений, подтверждением чему служат набравшие популярность модели, такие как Dall-E и Stable Diffusion. Теперь же стартап Runway AI представил нейросеть, способную генерировать по текстовому описанию короткие видеоролики.

 Источник изображения: Runway AI

Источник изображения: Runway AI

Генеративная нейросеть Gen 2 от Runway AI способна создавать короткие видео, опираясь на текстовое описание всего из нескольких слов. Достаточно написать, например, «кошка, идущая под дождём», после чего ИИ-алгоритм сгенерирует 3-секундное видео, демонстрирующее именно это или что-то очень похожее. В дополнение к этому пользователь может загрузить изображение, которое станет для алгоритма своеобразной подсказкой.

Сейчас нейросеть Runway AI доступна не всем. На данном этапе желающим испытать нейросеть в деле необходимо зарегистрироваться на сайте разработчиков и добавить себя в лист ожидания. Отметим, что Runway AI занимается разработкой инструментов на основе искусственного интеллекта с 2018 года и в прошлом году компания сумела привлечь $50 млн инвестиций. Стартап помогал в разработке оригинальной версии Stable Diffusion, которая способна генерировать изображения по текстовому описанию.

Во время демонстрации возможностей ИИ попросили создать видео «съёмки пустынного пейзажа с дрона». Несколько минут нейросеть обрабатывала запрос, но в конечном счёте ей удалось создать ролик, который соответствует предложенному описанию. Несколько других роликов раскрывают сильные и слабые стороны ИИ-алгоритма. Разработчики отмечают, что модель ещё не до конца «разобралась», как более точно изображать движущиеся объекты. «Вы можете сгенерировать автомобильную погоню, но иногда машины могут улететь», — отметили в Runway AI.

Также Gen 2 способна менять уже готовые видео, накладывая маски, добавлять стилизацию или даже полностью перестраивая картинку. Например, с помощью масок получились заменить на видео лабрадора на далматинца. Также ИИ смог превратить несколько поставленных на ребро блокнотов в ночной мегаполис. Либо из очень упрощенной 3D-модели сделать почти что кинематографическую картинку. Ещё ИИ способен анимировать фотографии.

Представленный алгоритм Gen 2 является логическим продолжением созданной ранее нейросети Gen 1. Тестирование алгоритма с привлечением небольшого числа пользователей началось в феврале. В настоящее время к этому процессу привлечены тысячи пользователей. Согласно имеющимся данным, в разработчики изучают возможность добавления к генерируемым видео звука, поскольку на данном этапе ИИ-алгоритм создаёт видео без звука.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

✴ Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

window-new
Soft
Hard
Тренды 🔥
Вселенную Starfield расширят мини-сериалом с живыми актёрами 14 мин.
«Экономия за счёт масштаба»: руководитель разработки Phantom Liberty объяснил, почему CD Projekt RED решила перейти на Unreal Engine 5 54 мин.
Игроки в Counter-Strike 2 на Windows 7 столкнулись с блокировками аккаунтов 6 ч.
От Мура к Хуангу: новый взгляд NVIDIA на развитие вычислительных технологий 7 ч.
Microsoft прекратила обновление корпоративных лицензий в России с 30 сентября 8 ч.
Новая статья: Party Animals — жестокое обращение животных. Рецензия 19 ч.
Ежедневная интернет-аудитория в России выросла в 100 раз за 25 лет 30-09 18:25
Канцтовары + кибербезопасность: «Комус» в партнёрстве с «Информзащитой» открыла новое направление деятельности 30-09 15:25
Китайские хакеры тайно захватили роутеры Cisco в важнейших секторах США — ФБР и АНБ забили тревогу 30-09 14:48
Spotify добавит автоматические расшифровки текстов к миллионам подкастов 30-09 14:04