Компания Adobe работает над внедрением ИИ-агентов в графический редактор Photoshop и видеоредактор Premiere Pro. Агенты смогут не только предложить варианты редактирования изображений и видео, но и автоматически применить их. Об этом сообщил в своём блоге Илай Гринфилд (Ely Greenfield), технический директор Adobe по цифровым медиа.

Источник изображения: blog.adobe.com

В приложении Photoshop новый ИИ-агент, который получил название «креативный агент», будет доступен через новую плавающую панель Actions. Этот инструмент сможет анализировать изображение и предлагать правки, например, удаление лишних объектов на заднем плане или художественное размытие фона. Для применения изменений пользователю потребуется лишь подтвердить выбранный вариант, отмечает The Verge.

Хотя опытные пользователи Photoshop традиционно предпочитают вручную редактировать объекты, работать со слоями и вносить детализированные правки, Adobe начала внедрение ИИ-инструментов. Среди них — функция Generative Fill для заливки или дополнения пикселями изображения, и Distraction Removal для удаления лишних объектов.

В перспективе пользователи смогут давать агенту команды на естественном языке, что упростит освоение сложных операций (хотя ИИ сможет выполнять их и самостоятельно). При этом можно будет либо корректировать работу агента, либо редактировать как обычно слои вручную.

Что касается Premiere Pro, Adobe продолжает развивать недавно представленную технологию Media Intelligence. Она уже умеет анализировать видео и помогать в поиске нужных фрагментов. В будущем ИИ-агент сможет выполнять черновой монтаж по запросу пользователя.

«Хотя ИИ не заменит творческое видение человека, он способен предложить разумные идеи, которые ускорят работу над проектом, — отметил Гринфилд. — Кроме того, он научит выполнять сложные задачи в несколько кликов, способствуя профессиональному росту редактора». В дальнейшем агент для Premiere Pro сможет подбирать оптимальные кадры, корректировать цвет, настраивать звук и выполнять другие задачи, в том числе с применением недавно представленного инструмента Generative Extend, который автоматически добавляет несколько секунд к клипу для плавного перехода.

Технологию, лежащую в основе первого ИИ-агента для Photoshop, представят на мероприятии Adobe Max в Лондоне 24 апреля.

Adobe выпустила версию 25.2 видеоредактора Premiere Pro, в которой инструменты для поиска, перевода и улучшения видео при помощи искусственного интеллекта стали доступны для каждого пользователя. Самым заметным нововведением является инструмент Generative Extend, основанный на генеративной модели Adobe Firefly, позволяющий увеличить продолжительность уже отснятого видео или фоновых звуков из него.

Источник изображений: Adobe

Generative Extend позволяет на две секунды увеличивать продолжительность видео с разрешением 4K, обеспечивая больше возможностей для монтажных склеек и переходов, или исправления неожиданных движений без необходимости пересъёмки материала. Также этот инструмент умеет увеличивать продолжительность фоновых звуков видео вплоть до десяти секунд только для звука или до двух секунд для звука и видео.

По словам Adobe, Generative Extend можно использовать бесплатно в течение «ограниченного времени», после чего для использования инструмента понадобятся кредиты Firefly. Adobe не уточнила, сколько кредитов в конечном итоге будет потреблять функция Generative Extend, но сообщает, что «цена будет зависеть от формата, частоты кадров и разрешения вашего видео». В рамках подписки Creative Cloud возможно приобретение 2000 кредитов Firefly за $10.

Новая версия Premiere Pro также включает панель поиска на основе ИИ, которая автоматически распознает содержимое клипов в видеотеке пользователя. Это позволяет искать отснятый материал с помощью текстовых запросов, которые могут описывать объекты, местоположения, углы обзора и эффекты, например, «крупные планы рук, работающих на кухне».

Новая функция управления цветом Premiere Color Management поддерживает форматы RAW и журнала практически со всех камер. Она автоматически преобразует «cырые» медиафайлы в выбранное цветовое пространство с помощью высокоточной тональной компрессии, что обеспечивает более качественную обработку изображений, улучшенный мониторинг и ускоренный экспорт.

Premiere Pro теперь может использовать ИИ для автоматического перевода субтитров на 27 различных языков, при этом возможна одновременная обработка нескольких дорожек субтитров.

По утверждению Adobe, новая версия Premiere Pro обеспечивает лучшую скорость и производительность как на устройствах Apple Silicon, так и на устройствах Windows.

Одновременно с новой версией Premiere Pro запускается After Effects 25.2 с поддержкой мониторинга HDR, элементов управления анимацией, 3D-моделей FBX и анимированных эффектов окружающего освещения. Добавлена возможность быстрого предварительного просмотра при помощи новой системы кэширования, которая использует как оперативную память, так и быстрые накопители.

Adobe обновила функцию поиска материалов в Premiere Pro, добавив инструменты визуального распознавания на основе ИИ. Теперь для поиска нужного видеоклипа из подборки достаточно словами описать его содержание. Это всего лишь одна из новых функций, повышающих удобство пользователей, создателей контента и видеоредакторов, которые Adobe добавляет в Premiere Pro, After Effects и Frame.io.

Источник изображения: Adobe

Поисковый запрос на естественном языке может выглядеть как «человек на коньках с бликом на объективе» или «счастливый рыбак, поймавший огромного сома». Adobe уверяет, что ИИ может автоматически распознавать «объекты, местоположения, углы обзора камеры и многое другое» наряду с произнесёнными словами, правда, при условии, что к видео прикреплена расшифровка.

Новый инструмент поиска не распознаёт звук в видеоклипе и не идентифицирует конкретных людей, но может просматривать любые метаданные, прикреплённые к видеофайлам, что позволяет извлекать клипы на основе дат съёмки, местоположения и модели камеры. Анализ медиа выполняется на устройстве и не требует подключения к интернету. Adobe гарантирует, что видеоконтент пользователей не применяется для обучения каких-либо моделей ИИ.

Одновременно с обновлённым поиском Adobe запустила инструмент перевода субтитров, который на сегодняшний день поддерживает 17 языков. Для упрощения просмотра и редактирования сразу нескольких переводов в Premiere Pro можно открыть несколько дорожек субтитров одновременно. Панель поиска с поддержкой ИИ и перевод субтитров доступны с сегодняшнего дня в бета-версии Premiere Pro, которая доступна всем, у кого есть активная подписка Creative Cloud или Premiere Pro.

В Adobe After Effects появилась поддержка HDR и новая система кэширования, заметно ускоряющая предварительный просмотр или воспроизведение больших проектов. Теперь для повышения производительности используются как оперативная память, так и дисковый кэш ПК. Adobe утверждает, что это позволит старым компьютерам и ноутбукам воспроизводить крупные проекты без задержек «для кэширования или рендеринга». Новые возможности уже доступны в бета-версии After Effects.

Frame.io Camera to Cloud теперь поддерживает интеграцию с камерами Canon C80 и C400, что позволяет автоматически загружать файлы в приложение непосредственно с камеры. Для использования этой возможности владельцам камер необходимо обновить их прошивки до актуальной версии, выпущенной в декабре 2024 года.

Компания Logitech представила консоль для управления популярными приложениями Adobe, такими как Photoshop и Premiere Pro. MX Creative Console позволяет автоматизировать рутинные задачи и ускорять рабочий процесс с помощью девяти настраиваемых клавиш со встроенными LCD-дисплеями и панели с аналоговым роллером.

Источник изображения: Logitech

В Premiere Pro можно использовать роллер для перемещения по временной шкале, а четыре кнопки вокруг него позволяют выполнять различные функции, например, такие как «Отмена действий», объясняет The Verge. Также имеется колесо прокрутки, позволяющее регулировать уровень масштабирования на таймлайне Premiere Pro для более точного редактирования, а в Photoshop это колесо позволяет увеличивать или уменьшать масштаб рабочего стола.

MX Creative Console работает аналогично котроллеру Stream Deck и имеет девять настраиваемых LCD-клавиш, которые можно использовать для запуска приложений или управления различными функциями внутри приложений Adobe. Кроме того, внизу расположены две кнопки для переключения и создания до 15 наборов клавиш с назначенными функциями для каждого приложения.

Все элементы управления полностью настраиваются через плагин Logitech, позволяя автоматизировать повторяющиеся задачи в один клик и избавляя от необходимости запоминать множество сочетаний клавиш. Плагин работает также с Lightroom Classic, After Effects, Audition и Illustrator.

Источник изображения: Logitech

Клавиатура подключаются к ПК или Mac через разъём USB-C, а панель с роллером через Bluetooth или адаптер Logitech Bolt, который, правда, не входит в комплект.

Компания Logitech планирует выпустить MX Creative Console в версиях светло-серого и графитового цвета, а также предоставит покупателям подписку на полный комплект программ Adobe Creative Cloud сроком на три месяца. Цена составит $200. Несмотря на то, что консоль выходит на насыщенный рынок, конкурируя с такими устройствами, как TourBox Elite и Elgato Stream Deck, Logitech уверена, что их новинка, продажи которой начнутся 14 октября, найдёт свою аудиторию. Предзаказы уже открыты.

Adobe представила несколько новых функций на основе ИИ в бета-версиях Premiere Pro, After Effects и Frame.io, которые существенно облегчат жизнь монтажёрам и редакторам. Среди них — функция Enhance Speech, которая удаляет фоновый шум и, по утверждению Adobe, может плохо записанный диалог заставить звучать так, как будто «он был записан в профессиональной студии». В инструменте для редактирования речи Premiere Pro появилась возможность автоматически удалять ненужные паузы и междометия-паразиты, такие как «ммм», «эээ» и им подобные.

Источник изображений: Adobe

Функция Enhance Speech при помощи ИИ автоматически выделяет из звуковой дорожки фоновый шум и предоставляет пользователям Premiere Pro возможность с помощью дополнительного ползунка микширования настроить соотношения голоса и уровня фонового шума в своих проектах. Также появилась новая функция автоматической маркировки категорий аудио, которая помечает клипы, содержащие диалоги, музыку, звуковые эффекты или окружающий шум.

Инструмент редактирования речи и текста Premiere Pro, добавленный ранее в этом году, теперь получил функцию Filler Word Detection для автоматического обнаружения и удаления ненужных пауз и междометий-паразитов как из звуковой дорожки, так и из генерируемых программой субтитров (скриптов речи). Также есть возможность настроить паузы больше какой длительности нужно удалять. Другие обновления для Premiere Pro значительно повысили отзывчивость и скорость работы с временной шкалой, улучшили автоматическое отображение тонов и добавили новые шаблоны проектов, которые помогут быстрее выполнять стандартные задачи.

After Effects получил полноценное 3D-рабочее пространство для создания проектов визуальных эффектов и анимационной графики с поддержкой импорта готовых 3D-моделей. Модель освещения, генерируемая на основе изображения, обеспечивает сцену с реалистичными освещением и тенями, а эффекты редактирования, которые ссылаются на другие слои, такие как карта смещения, векторное размытие или вычисления, могут использовать слой 3D-модели в качестве источника. Инструмент «Кисть для ротоскопии», который автоматически выделяет движущиеся объекты, также был обновлён, упростив разделение трудно изолируемых объектов, таких как перекрывающиеся объекты и волосы.

В Frame.io обновилось средство сравнения при просмотре видео, аудио, фотографий, файлов дизайна и файлов PDF, которое позволяет пользователям сравнивать их и добавлять комментарии. Позже в этом году будет представлен Frame.io Storage Connect для корпоративных клиентов, позволяющий сократить расходы на хранение данных в облаке за счёт прямого подключения к уже имеющемуся у них хранилищу AWS S3.

Перечисленные функции уже доступны для тестирования в бета-версии программных продуктов, релиз которых ожидается ближе к концу года.