Компания «Яндекс» улучшила функцию онлайн-перевода видео в своём фирменном браузере. Используемые для этого нейросети теперь могут переводить оригинальные голоса и интонации героев видео. За счёт этого переведённые в «Яндекс Браузере» видео звучат так, как будто их герои владеют русским. На данном этапе нововведение касается видео на английском языке.

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Источник изображения: yandex.ru

Для реализации упомянутой функции используется новая нейросеть, которая анализирует англоязычную речь, выделяя тембр, ритм, интонации и воспроизводя их при озвучивании перевода. Добиться этого удалось благодаря обучению большой языковой модели на сотнях тысяч примеров аудио. Улучшенный перевод позволит пользователям получать более яркие эмоции от просмотра видео, особенно это касается роликов, в которых важны особенности речи героев, таких как записи живых выступлений, скетчи, выступления известных людей и др.

В дополнение к этому «Яндекс Браузер» стал более точно передавать смысл сказанного в видео. Алгоритм учитывает стилистические особенности речи, за счёт чего формулировки становятся более естественными. В компании напомнили, что ИИ-модель YandexGPT, использующаяся в переводе видео, была признана лидером по качеству перевода с английского на русский по итогам тестирования в бенчмарке DiBiMT.

Перевод нового поколения доступен пользователям «Яндекс Браузера» во время просмотра роликов, которые размещены на YouTube, в поиске «Яндекса», на «VK Видео », в «Дзене» и на Rutube. Активировать функцию могут все пользователи, которые авторизовались в браузере с помощью Яндекс ID, а сам перевод доступен в панели, появляющейся при просмотре роликов в «Яндекс Браузере».

С прошлого года разработчики WhatsApp трудились над созданием функции перевода сообщений в чатах и на каналах. Теперь же такая возможность стала доступна некоторым пользователям бета-версии WhatsApp 2.25.12.25 для устройств на базе Android. В ближайшие несколько недель она станет доступна более широкому кругу пользователей бета-версий мессенджера.

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Источник изображения: Mariia Shalabaieva / Unsplash

На данном этапе разработчики реализовали поддержку русского, испанского, арабского, хинди и португальского языков. Поскольку перевод осуществляется непосредственно на устройстве пользователя, для работы этой функции не требуется подключение к интернету. Достаточно загрузить и установить соответствующий языковой пакет. В дополнение к этому можно загрузить языковой пакет, после установки которого приложение будет автоматически определять язык сообщений и переводить их.

Кнопка активации функции перевода сообщений располагается на информационном экране чата, где пользователи также могут выбрать, с какого именно языка следует автоматически переводить сообщения. Это можно сделать для каждого чата в отдельности, а также для личных или групповых чатов. Если в автоматическом переводе нет необходимости, то можно вручную переводить только отдельные сообщения.

Источник изображения: wabetainfo.com

Отмечается, что функция перевода сообщений в WhatsApp вряд ли сможет сравниться по точности с сервисами, работающими на базе облачной инфраструктуры. Это связано с тем, что перевод в мессенджере осуществляется на основе облегчённых языковых пакетов, устанавливаемых на само устройство. При этом пользователи смогут оставлять отзывы для повышения качества перевода, не делясь при этом с разработчиками оригинальными или переведёнными сообщениями из своих чатов.

Компания Microsoft анонсировала новую функцию в своём сервисе для совместной работы Teams. Теперь пользователи платформы во время онлайн-собраний смогут говорить или слушать других участников на выбранном ими языке. Переводчик в Teams использует алгоритм на базе искусственного интеллекта для имитации голоса пользователей в режиме онлайн.

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Источник изображения: Microsoft

Предварительная версия функции, позволяющей говорить и слушать других участников собраний на выбранном языке, появится в начале следующего года. На начальном этапе будет реализована поддержка девяти языков (английский, французский, немецкий, итальянский, японский, корейский, португальский, мандаринский китайский и испанский), а также опция имитации речи пользователя на другом языке.

Microsoft продолжает интегрировать ИИ-функции в платформу Teams. Упомянутое нововведение будет доступно вместе с функцией стенограммы собраний с участием пользователей, говорящих на разных языках. Инструмент создания стенограммы собраний будет поддерживать перевод на 31 язык.

В начале следующего года Microsoft добавит ИИ-функцию, которая позволит Teams понимать и составлять сводки по любому визуальному контенту, который появился на экране из PowerPoint или интернета во время онлайн-собраний, наряду с обычными стенограммами и сводками чатов. ИИ-помощник Copilot также сможет составлять сводки по любым файлам, к которым предоставлен общий доступ в интерфейсе чата Teams.

Владельцы компьютеров Copilot Pus PC получат доступ к функции повышения разрешения в онлайн-встречах в Teams. Это может оказаться полезным, когда подключение к чату осуществляется через интернет-канал с низкой пропускной способностью.

Немецкая компания DeepL представила в своём онлайн-переводчике новую функцию DeepL Voice, ориентированную на использование в живых беседах и видеоконференциях. Теперь пользователи могут переводить устную речь с одного языка на другой и конвертировать в текст в режиме реального времени, сообщает TechCrunch. Этот шаг стал очередным ответом на растущий интерес к сервисам на основе искусственного интеллекта.

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Источник изображения: deepl.com

Система машинного перевода DeepL Voice, выполняющая, по мнению самой компании, переводы «беспрецедентно высокого качества», поддерживает 13 языков — английский, немецкий, японский, корейский, шведский, голландский, французский, турецкий, польский, португальский, русский, испанский и итальянский. При этом текстовые субтитры доступны для 33 языков, поддерживаемых платформой.

Новый продукт DeepL может работать как в формате «зеркал», когда переводы отображаются на экране телефона, чтобы участники встречи могли видеть переведённый текст, так и в виде субтитров для видеоконференций. Пока DeepL Voice поддерживает интеграцию только с Microsoft Teams, что, по словам основателя компании Ярека Кутыловского (Jarek Kutylowski), на самом деле покрывает большую часть их клиентской базы. О поддержке других сервисов, таких как Zoom или Google Meet, информации пока нет.

Кутыловский отметил, что DeepL Voice является первым шагом компании в области голосовых технологий, и планируется дальнейшее развитие продукта. Он подчеркнул, что голосовой перевод занял одно из ключевых направлений, которое будет активно развиваться в ближайшие годы, при этом DeepL продолжит улучшать качество своих переводов, разрабатывая собственные ИИ-модели, благодаря которым возможно достичь более высокой точности, особенно в режиме реального времени.

Глава компании также рассказал о возможных сценариях использования новой функции. Например, в сфере обслуживания, где сотрудники ресторанов, кафе и отелей смогут общаться с клиентами, говорящими на разных языках. Что же касается конфиденциальности данных, ведь обработка голосов пользователей происходит на серверах компании, Кутыловский заверил, что DeepL не сохраняет и не использует аудиозаписи для обучения своих моделей, а также соблюдает все требования GDPR и других нормативных актов.

Стоит отметить, что DeepL не единственная компания, работающая над подобными решениями. Google и другие стартапы, такие как Eleven Labs и Panjaya, также разрабатывают сервисы голосового перевода с конвертацией аудио в текст.

Разработчики из «Яндекса» добавят в «Переводчик» поддержку более 20 языков народов России, которые ранее не были представлены в сервисе. Реализация проекта займёт три года, а первый из новых языков — осетинский — уже доступен в «Переводчике».

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Источник изображения: «Яндекс»

В дополнение к этому для некоторых новых языков будут доступны функции распознавания и синтеза речи, построенные на основе нейросетей. За счёт этого пользователи смогут узнать, как звучат те или иные слова на разных языках, а также получат возможность вести диалог с носителями языков. В мобильной версии сервиса доступен мгновенный перевод реплик, их отображение на экране устройства, а также озвучивание на выбранном языке. Первым языком, для которого будут реализованы эти возможности, станет татарский.

Позднее распознавание и синтез речи станут доступны для более чем 10 популярных языков, на каждом из которых в России говорят свыше 300 тыс. человек. «Яндекс» также сделает возможным перевод сайтов в «Браузере», добавит поддержку голосового ввода в «Поиске», «Картах» и мессенджерах посредством «Яндекс Клавиатуры». За счёт этого пользователи будут иметь возможность ознакомления с культурными особенностями народов страны через перевод их легенд, преданий и др. Вместе с этим виртуальный помощник «Алиса» сможет читать народные сказки на этих языках.

Данные поисковика «Яндекса» указывают на то, что россияне чаще всего ищут перевод фраз на татарском языке. Также популярностью пользуются башкирский и чувашский языки. В переводчике уже доступны эти и другие языки, такие как удмуртский, якутский и марийский. В дальнейшем «Яндекс» будет улучшать качество перевода на доступные языки и расширять их количество.