Adobe показала возможности готовящихся к выходу инструментов искусственного интеллекта, предназначенных для работы с видео — в их число входит функция создания видеороликов из неподвижных изображений. За эти функции отвечает модель семейства Firefly, которая будет интегрирована в приложения Adobe Creative Cloud и сможет редактировать звук и видео.
Источник изображения: youtube.com/@AdobeVideo
В рекламном ролике показаны кадры, созданные с помощью ИИ семейства Firefly, генерирующего видео по текстовому описанию — ещё в апреле Adobe сообщила, что такой набор функций появится, но их возможности компания продемонстрировала только сейчас. Можно будет генерировать видео по описанию и корректировать результаты с помощью «средств управления камерой», имитирующих смену угла обзора, её движение и расстояние, с которого ведётся съёмка. Присутствует функция генерации видеоролика по статическому изображению, которое задаётся как образец; можно генерировать и промежуточные кадры, если при монтаже видео образуется пробел.
Качество видео на демонстрационном ролике не уступает модели OpenAI Sora, которую Adobe может также добавить в видеоредактор Premiere Pro в качестве стороннего модуля. Но в текущем воплощении возможности Firefly ещё ограничены — модель генерирует видео продолжительностью до пяти секунд. Важным преимуществом модели от Adobe является то, что создаваемые ей материалы «коммерчески безопасны». Это значит, что ИИ обучался на лицензированных и общедоступных материалах, а также на контенте из коллекции Adobe Stock — компания заверяет, что созданное таким образом видео можно неограниченно использовать в коммерческих целях.
Функции генерации видео по текстовому описанию или статическому изображению появятся в бета-версии приложения Firefly в этом году. Предназначенная для работы с видео модель семейства Firefly будет интегрирована в приложения Creative Cloud, Experience Cloud и Adobe Express. Компания также продемонстрировала несколько роликов, созданных при помощи функции Generative Extend, которая увеличивает продолжительность существующих видеоматериалов — аналогичным образом в Photoshop функция Generative Expand готовит фоновые изображения. Adobe не уточнила, когда новые возможности станут доступны пользователям, но пообещала выпустить их в этом году.