Adobe обновила функцию поиска материалов в Premiere Pro, добавив инструменты визуального распознавания на основе ИИ. Теперь для поиска нужного видеоклипа из подборки достаточно словами описать его содержание. Это всего лишь одна из новых функций, повышающих удобство пользователей, создателей контента и видеоредакторов, которые Adobe добавляет в Premiere Pro, After Effects и Frame.io.

Источник изображения: Adobe

Поисковый запрос на естественном языке может выглядеть как «человек на коньках с бликом на объективе» или «счастливый рыбак, поймавший огромного сома». Adobe уверяет, что ИИ может автоматически распознавать «объекты, местоположения, углы обзора камеры и многое другое» наряду с произнесёнными словами, правда, при условии, что к видео прикреплена расшифровка.

Новый инструмент поиска не распознаёт звук в видеоклипе и не идентифицирует конкретных людей, но может просматривать любые метаданные, прикреплённые к видеофайлам, что позволяет извлекать клипы на основе дат съёмки, местоположения и модели камеры. Анализ медиа выполняется на устройстве и не требует подключения к интернету. Adobe гарантирует, что видеоконтент пользователей не применяется для обучения каких-либо моделей ИИ.

Одновременно с обновлённым поиском Adobe запустила инструмент перевода субтитров, который на сегодняшний день поддерживает 17 языков. Для упрощения просмотра и редактирования сразу нескольких переводов в Premiere Pro можно открыть несколько дорожек субтитров одновременно. Панель поиска с поддержкой ИИ и перевод субтитров доступны с сегодняшнего дня в бета-версии Premiere Pro, которая доступна всем, у кого есть активная подписка Creative Cloud или Premiere Pro.

В Adobe After Effects появилась поддержка HDR и новая система кэширования, заметно ускоряющая предварительный просмотр или воспроизведение больших проектов. Теперь для повышения производительности используются как оперативная память, так и дисковый кэш ПК. Adobe утверждает, что это позволит старым компьютерам и ноутбукам воспроизводить крупные проекты без задержек «для кэширования или рендеринга». Новые возможности уже доступны в бета-версии After Effects.

Frame.io Camera to Cloud теперь поддерживает интеграцию с камерами Canon C80 и C400, что позволяет автоматически загружать файлы в приложение непосредственно с камеры. Для использования этой возможности владельцам камер необходимо обновить их прошивки до актуальной версии, выпущенной в декабре 2024 года.

Adobe представила несколько новых функций на основе ИИ в бета-версиях Premiere Pro, After Effects и Frame.io, которые существенно облегчат жизнь монтажёрам и редакторам. Среди них — функция Enhance Speech, которая удаляет фоновый шум и, по утверждению Adobe, может плохо записанный диалог заставить звучать так, как будто «он был записан в профессиональной студии». В инструменте для редактирования речи Premiere Pro появилась возможность автоматически удалять ненужные паузы и междометия-паразиты, такие как «ммм», «эээ» и им подобные.

Источник изображений: Adobe

Функция Enhance Speech при помощи ИИ автоматически выделяет из звуковой дорожки фоновый шум и предоставляет пользователям Premiere Pro возможность с помощью дополнительного ползунка микширования настроить соотношения голоса и уровня фонового шума в своих проектах. Также появилась новая функция автоматической маркировки категорий аудио, которая помечает клипы, содержащие диалоги, музыку, звуковые эффекты или окружающий шум.

Инструмент редактирования речи и текста Premiere Pro, добавленный ранее в этом году, теперь получил функцию Filler Word Detection для автоматического обнаружения и удаления ненужных пауз и междометий-паразитов как из звуковой дорожки, так и из генерируемых программой субтитров (скриптов речи). Также есть возможность настроить паузы больше какой длительности нужно удалять. Другие обновления для Premiere Pro значительно повысили отзывчивость и скорость работы с временной шкалой, улучшили автоматическое отображение тонов и добавили новые шаблоны проектов, которые помогут быстрее выполнять стандартные задачи.

After Effects получил полноценное 3D-рабочее пространство для создания проектов визуальных эффектов и анимационной графики с поддержкой импорта готовых 3D-моделей. Модель освещения, генерируемая на основе изображения, обеспечивает сцену с реалистичными освещением и тенями, а эффекты редактирования, которые ссылаются на другие слои, такие как карта смещения, векторное размытие или вычисления, могут использовать слой 3D-модели в качестве источника. Инструмент «Кисть для ротоскопии», который автоматически выделяет движущиеся объекты, также был обновлён, упростив разделение трудно изолируемых объектов, таких как перекрывающиеся объекты и волосы.

В Frame.io обновилось средство сравнения при просмотре видео, аудио, фотографий, файлов дизайна и файлов PDF, которое позволяет пользователям сравнивать их и добавлять комментарии. Позже в этом году будет представлен Frame.io Storage Connect для корпоративных клиентов, позволяющий сократить расходы на хранение данных в облаке за счёт прямого подключения к уже имеющемуся у них хранилищу AWS S3.

Перечисленные функции уже доступны для тестирования в бета-версии программных продуктов, релиз которых ожидается ближе к концу года.

Adobe рассказала о новых функциях видеоредакторов Premiere Pro и After Effects, а также платформы для совместной работы Frame.io. Premiere Pro теперь разбивает видео на фрагменты, основываясь на транскрипции диалогов, и позволяет совмещать видео в SDR и HDR; After Effects поддерживает новые цветовые форматы; а Frame.io — работает с фото.

Источник изображений: au.pcmag.com

Ранее Adobe добавила в Premiere Pro автоматическую транскрипцию текста, теперь же на основе данной функции можно редактировать видео: произвести поиск по слову или фразе и перейти на нужный фрагмент видео. Это позволит, например, быстро удалять фрагменты, на которых выступающий делает паузу. А потом можно добавить на смонтированный материал автоматически сгенерированные субтитры. Данные функции пока есть в общедоступной бета-версии, а до релиза они дойдут в мае.

Функция Automatic Tone Mapping обеспечивает автоматическое управление цветом в проекте — можно легко монтировать видео из источников в SDR и HDR. Поддерживается контент со смартфонов, а также профессиональных видеокамер DGI, Panasonic, Sony и Canon. О продукции RED и Arri не говорится ничего, но вероятно, что её поддержка появится в ближайшей перспективе: представитель компании упомянул об улучшенной поддержке форматов RED V-Raptor X и ARRI Alexa 35.

В Premiere Pro появилась прогрессивная загрузка проектов — можно начинать работу, не дожидаясь загрузки крупного проекта. Есть также автосохранение в фоновом режиме и блокировка последовательности (Sequence Locking), которая не позволяет редактировать некоторые фрагменты другим пользователям при совместной работе.

В Adobe After Effects, которому уже исполнилось 30 лет, появилась поддержка библиотеки OpenColorIO (OCIO) и ставшей отраслевым стандартом системы управления цветом Academy Color Encoding System (ACES) — это поможет согласовывать качество материалов при работе с разным ПО. Разработчик также добавил поддержку многокадрового рендеринга форм и сочетания клавиш для функции Selectable Track Mattes.

Наконец, платформа для совместной работы Frame.io получила интеграцию с модулем Photoshop Camera Raw и функцию Camera to Cloud для загрузки фото не на ПК, а напрямую в облако для совместной работы. Добавлена поддержка камер Fujifilm X-H2 and X-H2S, а открытый API обеспечит интеграцию со сторонними приложениями.