«Яндекс Браузер» научился копировать оригинальные голоса и интонации при дубляже видео

Компания «Яндекс» улучшила функцию онлайн-перевода видео в своём фирменном браузере. Используемые для этого нейросети теперь могут переводить оригинальные голоса и интонации героев видео. За счёт этого переведённые в «Яндекс Браузере» видео звучат так, как будто их герои владеют русским. На данном этапе нововведение касается видео на английском языке.

Источник изображения: yandex.ru

Для реализации упомянутой функции используется новая нейросеть, которая анализирует англоязычную речь, выделяя тембр, ритм, интонации и воспроизводя их при озвучивании перевода. Добиться этого удалось благодаря обучению большой языковой модели на сотнях тысяч примеров аудио. Улучшенный перевод позволит пользователям получать более яркие эмоции от просмотра видео, особенно это касается роликов, в которых важны особенности речи героев, таких как записи живых выступлений, скетчи, выступления известных людей и др.

В дополнение к этому «Яндекс Браузер» стал более точно передавать смысл сказанного в видео. Алгоритм учитывает стилистические особенности речи, за счёт чего формулировки становятся более естественными. В компании напомнили, что ИИ-модель YandexGPT, использующаяся в переводе видео, была признана лидером по качеству перевода с английского на русский по итогам тестирования в бенчмарке DiBiMT.

Перевод нового поколения доступен пользователям «Яндекс Браузера» во время просмотра роликов, которые размещены на YouTube, в поиске «Яндекса», на «VK Видео », в «Дзене» и на Rutube. Активировать функцию могут все пользователи, которые авторизовались в браузере с помощью Яндекс ID, а сам перевод доступен в панели, появляющейся при просмотре роликов в «Яндекс Браузере».