Adobe обновила функцию поиска материалов в Premiere Pro, добавив инструменты визуального распознавания на основе ИИ. Теперь для поиска нужного видеоклипа из подборки достаточно словами описать его содержание. Это всего лишь одна из новых функций, повышающих удобство пользователей, создателей контента и видеоредакторов, которые Adobe добавляет в Premiere Pro, After Effects и Frame.io.

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Источник изображения: Adobe

Поисковый запрос на естественном языке может выглядеть как «человек на коньках с бликом на объективе» или «счастливый рыбак, поймавший огромного сома». Adobe уверяет, что ИИ может автоматически распознавать «объекты, местоположения, углы обзора камеры и многое другое» наряду с произнесёнными словами, правда, при условии, что к видео прикреплена расшифровка.

Новый инструмент поиска не распознаёт звук в видеоклипе и не идентифицирует конкретных людей, но может просматривать любые метаданные, прикреплённые к видеофайлам, что позволяет извлекать клипы на основе дат съёмки, местоположения и модели камеры. Анализ медиа выполняется на устройстве и не требует подключения к интернету. Adobe гарантирует, что видеоконтент пользователей не применяется для обучения каких-либо моделей ИИ.

Одновременно с обновлённым поиском Adobe запустила инструмент перевода субтитров, который на сегодняшний день поддерживает 17 языков. Для упрощения просмотра и редактирования сразу нескольких переводов в Premiere Pro можно открыть несколько дорожек субтитров одновременно. Панель поиска с поддержкой ИИ и перевод субтитров доступны с сегодняшнего дня в бета-версии Premiere Pro, которая доступна всем, у кого есть активная подписка Creative Cloud или Premiere Pro.

В Adobe After Effects появилась поддержка HDR и новая система кэширования, заметно ускоряющая предварительный просмотр или воспроизведение больших проектов. Теперь для повышения производительности используются как оперативная память, так и дисковый кэш ПК. Adobe утверждает, что это позволит старым компьютерам и ноутбукам воспроизводить крупные проекты без задержек «для кэширования или рендеринга». Новые возможности уже доступны в бета-версии After Effects.

Frame.io Camera to Cloud теперь поддерживает интеграцию с камерами Canon C80 и C400, что позволяет автоматически загружать файлы в приложение непосредственно с камеры. Для использования этой возможности владельцам камер необходимо обновить их прошивки до актуальной версии, выпущенной в декабре 2024 года.

Meta✴✴ выпустила модель искусственного интеллекта SeamlessM4T, способную осуществлять перевод со 101 языка. Проект является шагом к созданию универсального переводчика в реальном времени, который сможет обрабатывать устную речь, как только она произносится.

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Источник изображения: Sophia Richards / unsplash.com

Традиционные модели ИИ для перевода работают по многоэтапной схеме: сначала устная речь превращается в текст, затем осуществляется перевод этого текста на другой язык, после чего текст на новом языке снова превращается в устную речь. Этот метод не всегда достаточно эффективен, поскольку на каждом этапе существует вероятность возникновения ошибок, которые грозят неправильным результатом перевода. Новая модель Meta✴✴ SeamlessM4T осуществляет перевод напрямую и срабатывает, по словам разработчиков, на 23 % точнее, чем лучшие современные модели. В арсенале Google значится модель AudioPaLM, которая поддерживает 113 языков, но осуществляет перевод только на английский; SeamlessM4T переводит со 101 языка на 36.

Залогом успеха проекта стал процесс параллельного сбора данных: ИИ фиксирует случаи в просканированных данных источников в вебе совпадения звука или видео с субтитрами на другом языке. В результате модель научилась связывать эти звуки на одном языке с соответствующими фрагментами текста на другом. Авторы проекта, однако, признают, что участие человека в переводе остаётся важным: человек способен учитывать культурный контекст и обеспечить передачу смысла высказывания с одного языка на другой. В медицине или юриспруденции машинный перевод должен тщательно проверяться человеком — в противном случае могут возникать недоразумения.

Следует также учесть, что у моделей ИИ могут быть разные объёмы обучающих данных для разных языков: может быть много примеров перевода с греческого на английский, но отсутствовать данные для перевода с суахили на греческий. Чтобы решить эту проблему, разработчики SeamlessM4T предварительно обучали модель на миллионах часов аудиозаписей разговоров на разных языках. Эта подготовка помогла ИИ распознавать общие закономерности языков — в результате упростилась обработка менее распространённых языков, поскольку модель уже располагала основными данными о том, как должна звучать разговорная речь на них.

Система доступна с открытым исходным кодом, что, как надеются разработчики, побудит других развивать её текущие возможности. Некоторые эксперты пока сомневаются в том, насколько SeamlessM4T может быть полезна на практике и указывают, что закрытая модель Google работает значительно быстрее. В Meta✴✴ же утверждают, что специалисты компании уже создали более свежую версию Seamless, которая по скорости работы не уступает переводчикам-людям.

С выходом watchOS 11 на умных часах Apple появится приложение «Перевод». Новые функции также появятся в версиях приложения для iPhone и iPad, которые существуют уже давно. В частности, Apple сделала общедоступным новый API, который позволит разработчикам интегрировать средства перевода в свои приложения.

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Apple представила API для перевода на мероприятии WWDC 2024 — он избавит разработчиков от необходимости использовать сторонние платформы для реализации этих функций в своих приложениях. Сторонним приложениям, таким образом, открывается доступ к тем же моделям машинного обучения, что используются в собственном приложении Apple «Перевод», а функция перевода работает в автономном режиме.

Новый API доступен для устройств под управлением iOS 17.4 и более поздних версий, а в SDK iOS 18 появятся и некоторые эксклюзивные функции. В частности, новая версия системы получит возможность переводить строки поодиночке или пакетами, а также выводить результаты перевода в любом пользовательском интерфейсе. Пока Apple iOS 18 доступна в виде предварительной бета-версии для разработчиков. Выпуск общедоступной бета-версии запланирован на июль, а финальная появится осенью.

TikTok представила несколько новых инструментов на базе генеративного ИИ, которые призваны помочь организациям и создателям контента расширить свою аудиторию с помощью настраиваемых цифровых аватаров и функций языкового дубляжа. Новые инструменты, добавленные в пакет Symphony, призваны, по словам TikTok, «разрушить языковые барьеры в маркетинге и позволить брендам добавлять человечности в свой контент».

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

Источник изображения: unsplash.com

Новые цифровые аватары Symphony доступны в двух вариантах: стандартном и индивидуальном. Стандартные аватары основаны на лицензированных образах актёрах разного происхождения, национальностей и языков. Они доступны для коммерческого использования.

Пользовательские аватары нацелены на придание сходства с конкретным создателем или представителем бренда. Они способны говорить на нескольких языках, что позволяет аккаунтам, использующим их, охватить иностранную аудиторию. Независимо от используемого аватара, все видео с его участием помечаются значком «Создано ИИ».

Многоязычная поддержка обеспечивается Symphony AI Dubbing — инструментом перевода, который позволяет создателям и маркетологам дублировать свой контент на более чем десять языков и диалектов, включая французский, испанский, португальский, немецкий и корейский. TikTok утверждает, что инструмент автоматически определяет язык видео и способен расшифровывать, переводить и дублировать его на любой язык, выбранный пользователем.

По словам посмотревших демонстрационное видео от TikTok с пользовательским цифровым аватаром, «оно немного странное, но выглядит достаточно естественно и убедительно».

Информация о ценах на новые маркетинговые инструменты TikTok на основе генеративного ИИ пока не опубликована.