Сегодня 08 февраля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Runway AI создала ИИ для генерации видео по текстовому описанию, но у него «иногда машины могут улететь»

Разработчики генеративных нейросетей добились значительного успеха в создании статических изображений, подтверждением чему служат набравшие популярность модели, такие как Dall-E и Stable Diffusion. Теперь же стартап Runway AI представил нейросеть, способную генерировать по текстовому описанию короткие видеоролики.

 Источник изображения: Runway AI

Источник изображения: Runway AI

Генеративная нейросеть Gen 2 от Runway AI способна создавать короткие видео, опираясь на текстовое описание всего из нескольких слов. Достаточно написать, например, «кошка, идущая под дождём», после чего ИИ-алгоритм сгенерирует 3-секундное видео, демонстрирующее именно это или что-то очень похожее. В дополнение к этому пользователь может загрузить изображение, которое станет для алгоритма своеобразной подсказкой.

Сейчас нейросеть Runway AI доступна не всем. На данном этапе желающим испытать нейросеть в деле необходимо зарегистрироваться на сайте разработчиков и добавить себя в лист ожидания. Отметим, что Runway AI занимается разработкой инструментов на основе искусственного интеллекта с 2018 года и в прошлом году компания сумела привлечь $50 млн инвестиций. Стартап помогал в разработке оригинальной версии Stable Diffusion, которая способна генерировать изображения по текстовому описанию.

Во время демонстрации возможностей ИИ попросили создать видео «съёмки пустынного пейзажа с дрона». Несколько минут нейросеть обрабатывала запрос, но в конечном счёте ей удалось создать ролик, который соответствует предложенному описанию. Несколько других роликов раскрывают сильные и слабые стороны ИИ-алгоритма. Разработчики отмечают, что модель ещё не до конца «разобралась», как более точно изображать движущиеся объекты. «Вы можете сгенерировать автомобильную погоню, но иногда машины могут улететь», — отметили в Runway AI.

Также Gen 2 способна менять уже готовые видео, накладывая маски, добавлять стилизацию или даже полностью перестраивая картинку. Например, с помощью масок получились заменить на видео лабрадора на далматинца. Также ИИ смог превратить несколько поставленных на ребро блокнотов в ночной мегаполис. Либо из очень упрощенной 3D-модели сделать почти что кинематографическую картинку. Ещё ИИ способен анимировать фотографии.

Представленный алгоритм Gen 2 является логическим продолжением созданной ранее нейросети Gen 1. Тестирование алгоритма с привлечением небольшого числа пользователей началось в феврале. В настоящее время к этому процессу привлечены тысячи пользователей. Согласно имеющимся данным, в разработчики изучают возможность добавления к генерируемым видео звука, поскольку на данном этапе ИИ-алгоритм создаёт видео без звука.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Sniper Elite: Resistance — пора что-то менять. Рецензия 38 мин.
Krafton анонсировала тактический PvP-шутер PUBG: Blindspot — смесь Rainbow Six Siege и Counter-Strike 2 с видом сверху 45 мин.
Google проводит внутреннее тестирование режима искусственного интеллекта в поисковике 3 ч.
Football Manager 25 отменена — такое происходит впервые в истории и фанаты даже рады 3 ч.
«Поняли, что должны ориентироваться на старых фанатов»: разработчики ремейка «Готики» рассказали о принципах создания игры 5 ч.
Расширенная поддержка Windows 10 обойдётся недёшево — тарифы от $61 за год 5 ч.
У Warner Bros. Games и игры про «Чудо-женщину» большие проблемы, а на горизонте замаячил новый «Бэтмен» от Rocksteady 6 ч.
Meta в партнёрстве с ЮНЕСКО запускает новую программу сбора данных для улучшения речи и перевода ИИ 6 ч.
Topaz Labs представила диффузную ИИ-модель, которая автоматически улучшает старые видео 7 ч.
Mac App Store перестал работать на старых версиях Apple macOS 7 ч.
Airbus признала технологические проблемы в авиации на водородном топливе — быстро не будет 3 ч.
Corsair представила модульный стол Platform:4 для небольших помещений и универсальную панель для хранения аксессуаров 5 ч.
Crusoe Energy и Kalina Power построят в Канаде ИИ ЦОД с питанием от электростанций на природном газе 6 ч.
Казахстан построит оптоволоконную гипермагистраль Запад–Восток 6 ч.
Для мелких производителей ИИ-чипов DeepSeek оказалась не угрозой, а шансом 7 ч.
10 ГВт за 10 лет: Prologis намерена активнее осваивать рынок ЦОД 7 ч.
Партнёры AMD анонсировали свои версии Radeon RX 7650 GRE 8 ч.
Разработчик малых модульных реакторов X-energy получил ещё $700 млн инвестиций 9 ч.
Как у Pixar: Apple показала харизматичного робота-лампу — он может рассказать о погоде, посмотрев в окно 9 ч.
Acer представила «замену настольного компьютера» Predator Helios Neo AI 18 и версию поменьше — с Intel Arrow Lake и GeForce RTX 50-й серии 10 ч.