Adobe обновила функцию поиска материалов в Premiere Pro, добавив инструменты визуального распознавания на основе ИИ. Теперь для поиска нужного видеоклипа из подборки достаточно словами описать его содержание. Это всего лишь одна из новых функций, повышающих удобство пользователей, создателей контента и видеоредакторов, которые Adobe добавляет в Premiere Pro, After Effects и Frame.io.

Источник изображения: Adobe

Поисковый запрос на естественном языке может выглядеть как «человек на коньках с бликом на объективе» или «счастливый рыбак, поймавший огромного сома». Adobe уверяет, что ИИ может автоматически распознавать «объекты, местоположения, углы обзора камеры и многое другое» наряду с произнесёнными словами, правда, при условии, что к видео прикреплена расшифровка.

Новый инструмент поиска не распознаёт звук в видеоклипе и не идентифицирует конкретных людей, но может просматривать любые метаданные, прикреплённые к видеофайлам, что позволяет извлекать клипы на основе дат съёмки, местоположения и модели камеры. Анализ медиа выполняется на устройстве и не требует подключения к интернету. Adobe гарантирует, что видеоконтент пользователей не применяется для обучения каких-либо моделей ИИ.

Одновременно с обновлённым поиском Adobe запустила инструмент перевода субтитров, который на сегодняшний день поддерживает 17 языков. Для упрощения просмотра и редактирования сразу нескольких переводов в Premiere Pro можно открыть несколько дорожек субтитров одновременно. Панель поиска с поддержкой ИИ и перевод субтитров доступны с сегодняшнего дня в бета-версии Premiere Pro, которая доступна всем, у кого есть активная подписка Creative Cloud или Premiere Pro.

В Adobe After Effects появилась поддержка HDR и новая система кэширования, заметно ускоряющая предварительный просмотр или воспроизведение больших проектов. Теперь для повышения производительности используются как оперативная память, так и дисковый кэш ПК. Adobe утверждает, что это позволит старым компьютерам и ноутбукам воспроизводить крупные проекты без задержек «для кэширования или рендеринга». Новые возможности уже доступны в бета-версии After Effects.

Frame.io Camera to Cloud теперь поддерживает интеграцию с камерами Canon C80 и C400, что позволяет автоматически загружать файлы в приложение непосредственно с камеры. Для использования этой возможности владельцам камер необходимо обновить их прошивки до актуальной версии, выпущенной в декабре 2024 года.

Несколько технологических гигантов, включая Apple, Anthropic, Nvidia и Salesforce, обучали свои модели искусственного интеллекта на видео с YouTube без согласия владеющей платформой компании Google и авторов этих видео, показало журналистское расследование Proof News.

Источник изображения: Gerd Altmann / pixabay.com

Предполагаемым нарушителем авторских прав оказалась некоммерческая организация EleutherAI, которая, по её собственному утверждению, помогает разработчикам в обучении моделей ИИ. Её целевой аудиторией является не технологические гиганты, а небольшие разработчики и учёные. EleutherAI выпустила массив данных Pile, значительная часть которого доступна и открыта для любого желающего в интернете — потребуются лишь ресурсы для их скачивания, хранения и обработки.

В массив данных Pile оказались включены субтитры 173 536 видеороликов YouTube, которые были скачаны с более чем 48 000 каналов — файлы субтитров фактически являются расшифровками видеозаписей, а правила платформы YouTube запрещают скачивать её материалы без разрешения. Тем не менее, Apple, Nvidia и Salesforce — компании с капитализацией в сотни миллиардов и триллионы долларов — сами признавались в своих научных работах, что пользовались Pile при обучении ИИ. Apple, в частности, использовала Pile в обучении представленных в апреле моделей OpenELM, а уже в июне рассказала о новых функциях ИИ, которые появятся на iPhone и Mac.

Если в ходе данного инцидента действительно было допущено нарушение авторского права, то сделала это в первую очередь некоммерческая организация EleutherAI, а технологические гиганты могли оказаться добросовестными пользователями общедоступного набора данных. Данный пример в очередной раз показывает, что сфера обучения ИИ до сих пор недостаточно отлажена с юридической позиции.

Команда разработчиков «Яндекса» сообщила о расширении возможностей своего фирменного браузера и включении в его состав функции, в автоматическом режиме создающей субтитры для видео и онлайновых трансляций на русском языке. Это стало возможным благодаря нейросети, встроенной в десктопную версию веб-обозревателя.

Новая функция работает на любых сайтах: от видеохостингов и социальных сетей до страниц телеканалов и загруженных в облачные хранилища роликов. Она может быть полезной в ситуациях, когда нужно соблюдать тишину, а наушников под рукой нет, или когда в помещении слишком шумно. Кроме того, автоматическая генерация субтитров поможет комфортно просматривать видео людям с нарушениями слуха.

Чтобы включить субтитры, достаточно в окне с видео нажать на расположенную сверху кнопку. В настройках можно выбрать размер шрифта и изменить прозрачность фона, чтобы субтитры не сливались с изображением на заднем плане.

Генерация субтитров работает в «Яндекс Браузере» для операционных систем Windows и Linux. В macOS новая функция появится до конца сентября. В планах разработчиков — интеграция технологии в мобильную версию веб-обозревателя и добавление поддержки других языков.