Компания «Яндекс» улучшила функцию онлайн-перевода видео в своём фирменном браузере. Используемые для этого нейросети теперь могут переводить оригинальные голоса и интонации героев видео. За счёт этого переведённые в «Яндекс Браузере» видео звучат так, как будто их герои владеют русским. На данном этапе нововведение касается видео на английском языке.

Источник изображения: yandex.ru

Для реализации упомянутой функции используется новая нейросеть, которая анализирует англоязычную речь, выделяя тембр, ритм, интонации и воспроизводя их при озвучивании перевода. Добиться этого удалось благодаря обучению большой языковой модели на сотнях тысяч примеров аудио. Улучшенный перевод позволит пользователям получать более яркие эмоции от просмотра видео, особенно это касается роликов, в которых важны особенности речи героев, таких как записи живых выступлений, скетчи, выступления известных людей и др.

В дополнение к этому «Яндекс Браузер» стал более точно передавать смысл сказанного в видео. Алгоритм учитывает стилистические особенности речи, за счёт чего формулировки становятся более естественными. В компании напомнили, что ИИ-модель YandexGPT, использующаяся в переводе видео, была признана лидером по качеству перевода с английского на русский по итогам тестирования в бенчмарке DiBiMT.

Перевод нового поколения доступен пользователям «Яндекс Браузера» во время просмотра роликов, которые размещены на YouTube, в поиске «Яндекса», на «VK Видео », в «Дзене» и на Rutube. Активировать функцию могут все пользователи, которые авторизовались в браузере с помощью Яндекс ID, а сам перевод доступен в панели, появляющейся при просмотре роликов в «Яндекс Браузере».

С прошлого года разработчики WhatsApp трудились над созданием функции перевода сообщений в чатах и на каналах. Теперь же такая возможность стала доступна некоторым пользователям бета-версии WhatsApp 2.25.12.25 для устройств на базе Android. В ближайшие несколько недель она станет доступна более широкому кругу пользователей бета-версий мессенджера.

Источник изображения: Mariia Shalabaieva / Unsplash

На данном этапе разработчики реализовали поддержку русского, испанского, арабского, хинди и португальского языков. Поскольку перевод осуществляется непосредственно на устройстве пользователя, для работы этой функции не требуется подключение к интернету. Достаточно загрузить и установить соответствующий языковой пакет. В дополнение к этому можно загрузить языковой пакет, после установки которого приложение будет автоматически определять язык сообщений и переводить их.

Кнопка активации функции перевода сообщений располагается на информационном экране чата, где пользователи также могут выбрать, с какого именно языка следует автоматически переводить сообщения. Это можно сделать для каждого чата в отдельности, а также для личных или групповых чатов. Если в автоматическом переводе нет необходимости, то можно вручную переводить только отдельные сообщения.

Источник изображения: wabetainfo.com

Отмечается, что функция перевода сообщений в WhatsApp вряд ли сможет сравниться по точности с сервисами, работающими на базе облачной инфраструктуры. Это связано с тем, что перевод в мессенджере осуществляется на основе облегчённых языковых пакетов, устанавливаемых на само устройство. При этом пользователи смогут оставлять отзывы для повышения качества перевода, не делясь при этом с разработчиками оригинальными или переведёнными сообщениями из своих чатов.

Компания Microsoft анонсировала новую функцию в своём сервисе для совместной работы Teams. Теперь пользователи платформы во время онлайн-собраний смогут говорить или слушать других участников на выбранном ими языке. Переводчик в Teams использует алгоритм на базе искусственного интеллекта для имитации голоса пользователей в режиме онлайн.

Источник изображения: Microsoft

Предварительная версия функции, позволяющей говорить и слушать других участников собраний на выбранном языке, появится в начале следующего года. На начальном этапе будет реализована поддержка девяти языков (английский, французский, немецкий, итальянский, японский, корейский, португальский, мандаринский китайский и испанский), а также опция имитации речи пользователя на другом языке.

Microsoft продолжает интегрировать ИИ-функции в платформу Teams. Упомянутое нововведение будет доступно вместе с функцией стенограммы собраний с участием пользователей, говорящих на разных языках. Инструмент создания стенограммы собраний будет поддерживать перевод на 31 язык.

В начале следующего года Microsoft добавит ИИ-функцию, которая позволит Teams понимать и составлять сводки по любому визуальному контенту, который появился на экране из PowerPoint или интернета во время онлайн-собраний, наряду с обычными стенограммами и сводками чатов. ИИ-помощник Copilot также сможет составлять сводки по любым файлам, к которым предоставлен общий доступ в интерфейсе чата Teams.

Владельцы компьютеров Copilot Pus PC получат доступ к функции повышения разрешения в онлайн-встречах в Teams. Это может оказаться полезным, когда подключение к чату осуществляется через интернет-канал с низкой пропускной способностью.

Немецкая компания DeepL представила в своём онлайн-переводчике новую функцию DeepL Voice, ориентированную на использование в живых беседах и видеоконференциях. Теперь пользователи могут переводить устную речь с одного языка на другой и конвертировать в текст в режиме реального времени, сообщает TechCrunch. Этот шаг стал очередным ответом на растущий интерес к сервисам на основе искусственного интеллекта.

Источник изображения: deepl.com

Система машинного перевода DeepL Voice, выполняющая, по мнению самой компании, переводы «беспрецедентно высокого качества», поддерживает 13 языков — английский, немецкий, японский, корейский, шведский, голландский, французский, турецкий, польский, португальский, русский, испанский и итальянский. При этом текстовые субтитры доступны для 33 языков, поддерживаемых платформой.

Новый продукт DeepL может работать как в формате «зеркал», когда переводы отображаются на экране телефона, чтобы участники встречи могли видеть переведённый текст, так и в виде субтитров для видеоконференций. Пока DeepL Voice поддерживает интеграцию только с Microsoft Teams, что, по словам основателя компании Ярека Кутыловского (Jarek Kutylowski), на самом деле покрывает большую часть их клиентской базы. О поддержке других сервисов, таких как Zoom или Google Meet, информации пока нет.

Кутыловский отметил, что DeepL Voice является первым шагом компании в области голосовых технологий, и планируется дальнейшее развитие продукта. Он подчеркнул, что голосовой перевод занял одно из ключевых направлений, которое будет активно развиваться в ближайшие годы, при этом DeepL продолжит улучшать качество своих переводов, разрабатывая собственные ИИ-модели, благодаря которым возможно достичь более высокой точности, особенно в режиме реального времени.

Глава компании также рассказал о возможных сценариях использования новой функции. Например, в сфере обслуживания, где сотрудники ресторанов, кафе и отелей смогут общаться с клиентами, говорящими на разных языках. Что же касается конфиденциальности данных, ведь обработка голосов пользователей происходит на серверах компании, Кутыловский заверил, что DeepL не сохраняет и не использует аудиозаписи для обучения своих моделей, а также соблюдает все требования GDPR и других нормативных актов.

Стоит отметить, что DeepL не единственная компания, работающая над подобными решениями. Google и другие стартапы, такие как Eleven Labs и Panjaya, также разрабатывают сервисы голосового перевода с конвертацией аудио в текст.

Разработчики из «Яндекса» добавят в «Переводчик» поддержку более 20 языков народов России, которые ранее не были представлены в сервисе. Реализация проекта займёт три года, а первый из новых языков — осетинский — уже доступен в «Переводчике».

Источник изображения: «Яндекс»

В дополнение к этому для некоторых новых языков будут доступны функции распознавания и синтеза речи, построенные на основе нейросетей. За счёт этого пользователи смогут узнать, как звучат те или иные слова на разных языках, а также получат возможность вести диалог с носителями языков. В мобильной версии сервиса доступен мгновенный перевод реплик, их отображение на экране устройства, а также озвучивание на выбранном языке. Первым языком, для которого будут реализованы эти возможности, станет татарский.

Позднее распознавание и синтез речи станут доступны для более чем 10 популярных языков, на каждом из которых в России говорят свыше 300 тыс. человек. «Яндекс» также сделает возможным перевод сайтов в «Браузере», добавит поддержку голосового ввода в «Поиске», «Картах» и мессенджерах посредством «Яндекс Клавиатуры». За счёт этого пользователи будут иметь возможность ознакомления с культурными особенностями народов страны через перевод их легенд, преданий и др. Вместе с этим виртуальный помощник «Алиса» сможет читать народные сказки на этих языках.

Данные поисковика «Яндекса» указывают на то, что россияне чаще всего ищут перевод фраз на татарском языке. Также популярностью пользуются башкирский и чувашский языки. В переводчике уже доступны эти и другие языки, такие как удмуртский, якутский и марийский. В дальнейшем «Яндекс» будет улучшать качество перевода на доступные языки и расширять их количество.

Служба «Google Переводчик» получит поддержку 110 новых языков, сообщили в компании. До настоящего времени служба работала со 133 языками, поэтому последнее обновление, которое в Google назвали самым значительным за всю историю, знаменует собой крупный скачок.

Источник изображения: blog.google

«Выучить» новые языки «Переводчику» помогла большая языковая модель Google PaLM 2 — особенно хорошо она справилась с близкими друг к другу языками, например, с «близкими к Хинди, такими как авадхи и марвади, а также французскими креольскими языками, такими как сейшельский креольский и маврикийский креольский», рассказали в компании.

На 13 языках из списка добавленных в «Переводчик» говорят в России: это аварский, башкирский, бурятский, чеченский, чувашский, осетинский, удмуртский, чукотский, тувинский, якутский, крымско-татарский, коми и луговомарийский языки.

Список новых поддерживаемых языков «Google Переводчика» включает в себя кантонский диалект китайского — он «долгое время был одним из самых востребованных» на платформе. Найти данные для обучения модели было непросто, поскольку он в значительной степени пересекается с мандаринским на письме. Ещё около четверти новых языков происходят из Африки. На большинстве из новых языков говорят по меньше мере миллион человек, а в некоторых случаях речь идёт о сотнях миллионов.

Компания «Яндекс» повысила качество работы своей службы машинного перевода, произведя дополнительное обучение лежащей в её основе нейросети при помощи большой языковой модели YandexGPT. В результате «Яндекс Переводчик» стал лучше ориентироваться в контексте, фразеологизмах и профессиональной лексике.

Источник изображений: «Яндекс»

Дополнительное обучение помогло сервису более качественно устанавливать связь между предложениями, и теперь он лучше справляется с длинными текстами. Благодаря навыкам анализа контекста машинный переводчик определяет профессиональную направленность текста и оставляет необходимые термины без перевода.

«Яндекс» начал использовать ИИ в «Переводчике» с 2018 года, обучив его на парах текстов — в оригинале и переводе на другой язык. Это легковесная нейросеть, которая может в реальном времени обрабатывать большое число запросов. YandexGPT, напротив, генерирует сложные тексты в лексическом и стилистическом разнообразии, включая специфическую терминологию. Поэтому большую языковую модель решили привлечь для дополнительного обучения нейросети-переводчика.

Инженеры «Яндекса» подготовили специальную версию YandexGPT, оптимизированную для перевода текстов. На этапе предварительного обучения она обработала большой объём текстов на русском и английском языках, изучила лексику, морфологию и синтаксис. Далее была произведена тонкая настройка большой языковой модели под задачи перевода; на этапе Reinforcement Learning (RL) производилась оценка качества перевода YandexGPT, а результаты ранжировались от лучших к худшим.

По завершении дополнительного обучения нейросети «Яндекс Переводчика» её работу подвергли сравнительной оценке. Владеющие русским и английским языками специалисты сравнивали пары длинных и сложных текстов, переведённых двумя версиями нейросети — новая справилась со своей задачей лучше в 57 % случаев. Обновлённая платформа уже подключена к «Яндекс Переводчику», поисковой системе и службе перевода видео в «Яндекс Браузере».

«Яндекс» сообщил о расширении возможностей сервиса «Яндекс Переводчик», который теперь не только поможет пользователям сделать перевод контента, но отредактировать тексты на английском с помощью нейросети YandexGPT без глубокого знания языка.

Источник изображения: «Яндекс»

В новом разделе под названием «Редактор», который доступен для пользователей десктопной версии переводчика, можно улучшить текст, не исказив смысл написанного, переписать в более подходящем стиле с учётом характера общения, а также исправить ошибки. Функцию можно применить как ко всему тексту, так и к выделенному фрагменту.

Также с помощью переводчика можно подобрать синонимы для слова или выражения, выбрав подходящий из предложенных вариантов, что позволит разнообразить лексику.

Перечень опций раздела «Редактор» можно выбрать в колонке справа. Там же указано, что вскоре в разделе появятся ещё две опции, позволяющие сделать лексику проще или сложнее. Как отметил «Яндекс», лексику можно будет сделать более «продвинутой», близкой по стилю к академической литературе, научным статьям с помощью добавления в текст сложносоставных конструкций и редко употребляемых слов. Или, наоборот, упростить и сделать текст понятней для людей с базовым уровнем владения английским языком.

Meta✴ обновила свою ИИ-модель SeamlessM4T, предназначенную для перевода речи и текста. Теперь платформа поддерживает переводы почти на 100 языках, включая русский, в текстовом формате и на 36 — в устной речи. С новой архитектурой решения технологический гигант стремится сделать перевод более естественным и выразительным, что обещает стать прорывом в коммуникациях между людьми и производстве контента.

Источник изображения: Meta✴

Meta✴ построила SeamlessM4T на основе своей архитектуры многофункциональной модели UnitY на базе PyTorch, которая выполняет различные модальные переводы, а также автоматическое распознавание речи. Она использует систему BERT 2.0 для аудиокодирования, разбивая входные данные на составляющие токены для анализа, и HiFi-GAN unit vocoder для генерации голосовых ответов.

Первая из двух новых функций SeamlessM4T называется SeamlessExpressive. Как можно понять из названия, она переносит эмоциональные интонации голоса в переведённую речь. Система учитывает такие составляющие, как тон речи, её громкость, эмоциональный окрас (возбуждение, печаль или шёпот), темп речи и паузы. Всё это делает переводы менее механическими и более живыми. Поддерживаются английский, испанский, немецкий, французский, итальянский и китайский языки.

Вторая функция, SeamlessStreaming, начинает переводить речь, пока говорящий ещё не закончил предложение, что позволяет другим слушателям быстрее услышать перевод. Задержка составляет чуть менее двух секунд. По словам Meta✴, основной трудностью здесь было различие в структуре предложений разных языков, поэтому был разработан специальный алгоритм, который анализирует неполные аудиофрагменты и решает, достаточно ли контекста для начала генерации перевода или стоит ещё послушать говорящего.

Как и большинство предыдущих разработок Meta✴ в области машинного перевода, будь то Llama 2, Massively Multilingual Speech (MMS), Universal Speech Translator (UST) или амбициозный проект No Language Left Behind (NLLB), SeamlessM4T находится в открытом доступе на GitHub. «Мы считаем, что SeamlessM4T является важным прорывом в стремлении сообщества ИИ к созданию универсальных многофункциональных систем», — написала команда исследователей.

Развитие компанией Meta✴ ИИ-технологий перевода с различных языков открывает новые перспективы в области межъязыкового общения. Эти инновации могут значительно превзойти существующие решения, такие как инструменты перевода, разработанные компаниями Google и Samsung. Пока нет точной информации о сроках внедрения Meta✴ этих функций, но их потенциальное применение, например, в умных очках Meta✴, обещает сделать их незаменимыми в повседневной жизни и профессиональной сфере.

Периодически разработчики создают новые функции программного обеспечения, которые делают тот или иной аппаратный формфактор значительно более полезным. Одной из таких функций может стать режим двухэкранного переводчика, который в скором времени станет доступен владельцам складных смартфонов Google Pixel Fold.

Источник изображения: Google

Полностью раскрыв смартфон, пользователь может говорить с кем-то, кто говорит на другом языке, при этом переводы фраз каждого из собеседников будут отображаться по обе стороны. Таким образом, собеседник будет видеть, что вы говорите на его языке, и наоборот. Такие вот синхронные субтитры в реальной жизни. В настоящее время система доступна на 45 языках.

Напомним, выпущенный в середине того года смартфон Pixel Fold является первым устройством Google с гибким дисплеем. Аппарат оснащён 7,6-дюймовым основным дисплеем и 5,8-дюймовым внешним экраном. Его аппаратной основой стал фирменный микропроцессор Google Tensor 2, аналогичный тому, что использовался в Pixel 7 и Pixel 7 Pro. В конструкции задействован прочный шарнирный механизм, способный выдержать 200 тыс. складываний. Что касается цены, то приобрести Pixel Fold можно за $1800.

Интернет-пользователи привыкли воспринимать возможность перевода веб-страниц как что-то должное. Инструмент перевода страниц пользуется большой популярностью, поэтому постепенно разработчики интегрируют его в разные продукты. На этой неделе функция перевода стала доступна в мобильной версии почтового сервиса Google Gmail.

Источник изображения: Google

Отметим, что функция автоматического перевода давно доступна пользователям веб-версии Gmail. Теперь же Google добавила полезную функцию в мобильную версию почтового сервиса, которым ежедневно пользуются миллионы людей по всему миру. Для пользователей Gmail на устройствах с Android функция перевода станет доступна на этой неделе, а в iOS-версии приложения она появится в конце месяца.

Как и в случае использования веб-версии, пользователь будет видеть небольшой баннер в верхней части электронного письма. Если в качестве основного языка пользователь использует английский, то баннер будет предлагать перевести сообщение на английский. В дополнение к этому можно выбрать опцию, благодаря которой все поступающие сообщения будут автоматически переводиться на выбранный пользователем язык. При необходимости можно отказаться от использования новой функции, но в Google её оценивают как «очень востребованную», что указывает на популярность переводчика сообщений в веб-версии сервиса.

Учёные уже давно записали профессию переводчика в умирающие, поскольку развитие систем машинного перевода ставит её под угрозу существования не первое десятилетие подряд. Компании Google удалось вывести технологию на новый уровень: искусственный интеллект теперь способен не только переводить речь человека, записанного на видео, но и адаптировать его артикуляцию к результату перевода на другой язык.

Источник изображения: Google

Другими словами, движения губ человека будут синхронизированы со словами, которые он якобы произносит на другом языке. Работа «универсального переводчика», как незатейливо назвали эту технологию в Google, состоит из нескольких этапов. Сперва система распознаёт речь выступающего на видео человека «на слух» и переводит её в текстовую форму. Данный текст уже переводится на нужный язык, из него тут же синтезируется речь с сохранением тембра и эмоциональной окраски оригинала. Затем под новую речь на другом языке синхронизируются не только движения губ и мимика, но и жестикуляция говорящего. Конечное видео выглядит так, как будто спикер изначально произносил речь на другом языке, чего в реальности он не делал.

Данная технология открывает широкие возможности если не в кинематографе, где дубляж фильмов остаётся сложным процессом, то в сфере образования как минимум. Как справедливо опасается Google, подобный инструмент должен рано или поздно заинтересовать злоумышленников, которые с его помощью захотят фальсифицировать публичные выступления тех же политиков, например. По этой причине корпорация намерена не только распространять технологию «универсального перевода» через доверенных партнёров, но и наделять результирующие видео разного рода водяными знаками, которые позволяют зрителю понять, что ролик является продуктом искусственного интеллекта.