Учёные уже давно записали профессию переводчика в умирающие, поскольку развитие систем машинного перевода ставит её под угрозу существования не первое десятилетие подряд. Компании Google удалось вывести технологию на новый уровень: искусственный интеллект теперь способен не только переводить речь человека, записанного на видео, но и адаптировать его артикуляцию к результату перевода на другой язык.

Источник изображения: Google

Другими словами, движения губ человека будут синхронизированы со словами, которые он якобы произносит на другом языке. Работа «универсального переводчика», как незатейливо назвали эту технологию в Google, состоит из нескольких этапов. Сперва система распознаёт речь выступающего на видео человека «на слух» и переводит её в текстовую форму. Данный текст уже переводится на нужный язык, из него тут же синтезируется речь с сохранением тембра и эмоциональной окраски оригинала. Затем под новую речь на другом языке синхронизируются не только движения губ и мимика, но и жестикуляция говорящего. Конечное видео выглядит так, как будто спикер изначально произносил речь на другом языке, чего в реальности он не делал.

Данная технология открывает широкие возможности если не в кинематографе, где дубляж фильмов остаётся сложным процессом, то в сфере образования как минимум. Как справедливо опасается Google, подобный инструмент должен рано или поздно заинтересовать злоумышленников, которые с его помощью захотят фальсифицировать публичные выступления тех же политиков, например. По этой причине корпорация намерена не только распространять технологию «универсального перевода» через доверенных партнёров, но и наделять результирующие видео разного рода водяными знаками, которые позволяют зрителю понять, что ролик является продуктом искусственного интеллекта.

Компания Microsoft выпустила очередное обновление коммуникационного решения Skype. Теперь интегрированный в продукт переводчик позволяет осуществлять перевод и последующее озвучивание речи пользователя его же голосом — только на другом языке.

Источник изображения: Chase Chappell/unsplash.com

Функция TruVoice максимально упрощает общение даже тем, кто не знает языка собеседника. Обработка речи с помощью алгоритмов искусственного интеллекта буквально творит чудеса. В Microsoft заявляют, что инструмент Skype Translator комбинирует систему распознавания голоса с алгоритмами обработки естественных языков.

В результате беседы должны становятся более «человечными», что в теории помогает налаживать контакты с людьми из других стран. Другими словами, ещё до перевода система умеет распознавать и интерпретировать слова собеседников.

Известно, что уже поддерживается 10 языков, включая русский, мандаринский диалект китайского, арабский, бразильский португальский, английский, испанский, итальянский, французский и немецкий. Кроме того, разговоры на более 60 языках система способна конвертировать в текст на других языках.

Источник изображения: Skype

Если разговаривать «естественными» голосами по каким-либо причинам неприемлемо, можно выбрать искусственные роботизированные варианты. Пока функция Skype доступна только в разговорах один на один, но в ближайшие месяцы Microsoft обещает добавить её в групповые беседы и даже разговоры с собеседниками по телефону.

Большинство сервисов перевода с одного языка на другой используют удалённые серверы и облачные ИИ-фреймворки для выполнения пользовательских задач. Mozilla пошла другим путём и представила конфиденциальный инструмент Firefox Translations для офлайн-переводов в своём браузере.

Источник изображения: Mozilla

В отличие от Google Translate, Bing Microsoft Translator, DeepL Translate и прочих онлайн-сервисов подобного типа, алгоритмы расширения Firefox Translations работают полностью в офлайн-режиме. Другими словами, переводы выполняются локально на компьютерах пользователей без передачи обрабатываемых текстовых данных на сторонние серверы.

В настоящий момент Firefox Translations поддерживает работу с 10 языками: английским, испанским, немецким, французским, итальянским, болгарским, португальским, польским, эстонским и чешским. При этом работы продолжаются, на очереди русский, украинский, персидский (фарси), исландский, норвежский нюнорск, норвежский букмол и голландский языки.

В разработке Mozilla сотрудничает с The Bergamot Project Consortium, основной специализацией проекта является организация машинных переводов, локально выполняемых в браузере. Кроме того, в проекте участвуют несколько европейских университетов. Средства получены из европейского фонда программы Horizon 2020.

Firefox Translations продолжает совершенствоваться, а финансирование Евросоюзом, возможно, позволит проекту избежать мрачной судьбы Firefox OS и других, не оправдавших ожиданий инициатив. Пока на странице проекта насчитывается чуть более 40 тыс. пользователей.

Приблизительно 2,8 тысяч языков мира из семи тысяч известных существуют без письменности. Такие языки не подходят для современных систем перевода на основе алгоритмов машинного обучения, поскольку обычно компьютеры переводят устную речь в письменную для последующего перевода на другой язык. Компании Meta*, похоже, удалось решить эту проблему, благодаря новому ИИ-инструменту.

Источник изображения: bruce mars/unsplash.com

В рамках разработанной Meta* программы Universal Speech Translator (UST) устная речь на одном языке будет переводиться в устную же на другом, благодаря чему будущие жители метавселенной, смогут намного легче взаимодействовать друг с другом.

В рамках проекта исследователи обратились к диалекту хоккиен — одному из официальных языков Тайваня и довольно широко распространённому в Азии, при этом не имеющему собственной письменности.

Для тренировки системам машинного перевода обычно необходимы письменные и устные образцы языка. Для того чтобы обойти подобные ограничения, используется модель т.н. speech-to-unit translation (S2UT), в рамках которой устная речь преобразуется в «акустические единицы» в режиме реального времени.

Речь на не имеющем письменности языке конвертируется сначала в текст на родственном языке-посреднике, имеющем письменность (в данном случае на мандаринском диалекте), который уже можно переводить на английский и наоборот с последующим машинным обучением системы. Пока система обеспечивает ограниченное общение носителей хоккиена и говорящих по-английски. Она переводит по предложению за раз, но глава Meta* Марк Цукерберг (Mark Zuckerberg) уверен, что со временем модель будет использована с разными языками и позволит общаться в режиме реального времени.

Помимо моделей и тренировочных данных, уже выложенных Meta* в открытый доступ, компания опубликовала и другие инструменты, потенциально позволяющие исследователям создавать собственные системы для перевода устной речи в устную (S2ST).

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Команда разработчиков «Яндекса» сообщила об очередных доработках технологии закадрового перевода видеороликов на иностранных языках и включении поддержки синхронного перевода с использованием 12 голосов — шести мужских и шести женских.

Источник изображения: «Яндекс»

Система закадрового перевода интегрирована в «Яндекс.Браузер» и в полной мере использует технологии машинного обучения и искусственного интеллекта на базе нейронных сетей.

Для распознавания разных спикеров на видео используются две нейросети: сначала одна из них переводит речь в текст, восстанавливает пунктуацию и определяет границы предложений, затем вторая анализирует спектрограмму голоса и отмечает на аудиодорожке фрагменты, сказанные разными людьми. Таким образом становится ясно, кто из спикеров что произнёс, и воспринимать перевод видео с большим количеством действующих лиц становится намного легче.

«Мы постоянно работаем над качеством перевода и озвучки, чтобы дать нашим пользователям доступ к любому контенту со всего мира. По нашим оценкам, около половины YouTube-роликов на иностранных языках — это ролики с тремя и более спикерами. Смотреть их с двухголосой озвучкой не совсем удобно — поэтому мы и сделали десять новых голосов», — отмечают в «Яндексе».

В настоящий момент система закадрового перевода «Яндекса» поддерживает английский, французский, немецкий, испанский и итальянский языки. В планах компании — добавление новых языковых пар и расширение функциональных возможностей продукта.

Сервисы «ВКонтакте» осваивают функцию автоматического перевода сообщений. Возможность перевода посланий с иностранных языков появилась как в общем приложении «ВКонтакте», так и в «VK Мессенджере». Система поддерживает перевод английский, испанский и португальский языки. Ожидается, что нововведение поможет пользователям преодолеть языковой барьер при общении с иностранцами — в совокупности на этих языках говорят миллиарды человек.

Источник изображения: ВКонтакте

В компании предполагают, что благодаря новой функции люди из разных стран смогут знакомиться, общаться, практиковаться в разговорах на иностранных языках и получать новую информацию, не встречая препятствий в виде языкового барьера. «ВКонтакте» не использует сторонние инструменты для перевода, а сам перевод происходит по желанию пользователя. Текст в социальной сети можно не только перевести парой нажатий на нужные пункты меню, но и прослушивать — это поможет понять, как будет звучать послание на другом языке.

Важной особенностью технологии является использование нейросети, обученной на данных из открытых источников, которая способна определять исходный язык и учитывать особенности речи пользователя в зависимости от его региона происхождения, интересов и даже сферы деятельности. В частности, система различает сленговые выражения, а также способна переводить как художественные тексты, так и материалы, написанные официально-деловым стилем.

Источник изображения: ВКонтакте

Как заявил технический директор «ВКонтакте» Александр Тоболь, «моментальные переводы с помощью технологий машинного обучения раскроют новые возможности, чтобы знакомиться с людьми из разных стран, изучать новые языки и находить близких по духу людей, вне зависимости от языка, на котором они общаются». По его словам, в общей сложности пользователи «ВКонтакте» обмениваются миллиардами сообщений в сутки, узнавая новое от друзей, коллег, однокурсников или близких.

Компания не впервые внедряет языковые сервисы. Не так давно «ВКонтакте» запустила возможность автоматического перевода публикаций в сообществах с русского на английский язык. Предполагается, что это поможет жителям других стран познакомиться с уникальными русскоязычными материалами, недоступными в других социальных сетях по разным причинам, — авторы контента могут рассказать о себе широкой англоговорящей аудитории.

Meta* разработала единую модель искусственного интеллекта (ИИ) NLLB-200, предназначенную для перевода и поддерживающую 200 языков, в том числе и те, с которыми не работают современные коммерческие инструменты. Компания открыла исходный код проекта и предложила всем желающим пользоваться результатами её работы.

Источник изображения: Gerd Altmann / pixabay.com

Модель ИИ стала частью крупномасштабного научно-исследовательского проекта Meta*, на который компания делает ставку по всем важным для себя направлениям: от соцсетей Facebook* и Instagram* до технологий виртуальной и дополненной реальности. Иными словами, с данным инструментом компания станет не только лучше понимать своих пользователей (что важно для целевой рекламы), но и получит возможность повысить качество AR/VR-проектов.

В компании сделали упор на малоизвестные языки, поддержка которых отсутствует в большинстве современных инструментов для перевода, в частности, работа по 55 африканским языкам дала «высококачественные результаты». В бенчмарке FLORES-101, ориентированным на языковые ИИ-модели, система NLLB-200 показала результат, на 44 % превзошедший средние показатели, тогда как по отдельным африканским и индийским диалектам преимущество достигло 70 %.

Наконец, компания заявила о запуске программы грантов для некоммерческих организаций, которые будут использовать модель в работе, — общий бюджет программы составил $200 000.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

В рамках инициативы Bergamot компания Mozilla при участии университетов Эстонии, Чехии и Великобритании представила инструменты для машинного перевода с различных языков, работающие на локальных системах без обращения к внешним сервисам. Разработки проводились при финансовой поддержке ЕС и распространяются под лицензией MPL 2.0 (Mozilla Public License Version 2.0).

Источник изображения: Mozilla

Как сообщает портал OpenNET, система основана на движке bergamot-translator, имеются дополнительные инструменты для машинного обучения системы и уже подготовленные модели для 14 языков. Присутствуют модели для перевода с английского на русский и наоборот.

Движок Bergamot translator, написанный на C++, в браузерной версии «компилируется в промежуточное бинарное представление WebAssembly при помощи компилятора Emscripten». Движок «представляет собой обвязку над фреймворком машинного перевода Marian, в котором применяется рекуррентная нейронная сеть (RNN) и языковые модели на основе трансформеров». Примечательно, что для ускорения процесса машинного обучения и перевода может использоваться графический ускоритель. Известно, что фреймворк Marian применяется сервисом Microsoft Translator — он развивается преимущественно инженерами Microsoft при участии научных команд Эдинбургского и Познанского университетов.

Источник изображения: Mozilla

Пользователи получат возможность перевода в ходе заполнения онлайн-форм, будет доступна и оценка качества с отметкой сомнительных переводов. Предварительно протестировать возможности системы пока можно на специальной странице — у некоторых пользователей сервис может функционировать некорректно. Доступно и само расширение Firefox Translations, но для его использования необходим браузер Firefox.

Представители Google ещё в 2020 году анонсировали функцию запоминания истории переводов для своего сервиса Google Переводчик. Похоже, что в скором времени это нововведение наконец станет доступно широкому кругу пользователей.

Источник изображения: Android Police

Некоторые пользователи Google Переводчика обратили внимание на то, что при запуске приложения стало появляться сообщение, в котором предлагается создать резервную копию истории переводов. При этом пользователь может отказаться от создания резервной копии, если в этом нет необходимости, продолжив пользоваться сервисом в обычном режиме.

В настройках приложения Google Переводчик появился новый раздел «История», который может использоваться для просмотра переводов в хронологическом порядке. Кроме того, отдельные переводы можно переместить в список избранного, чтобы в дальнейшем можно было оперативно получить к ним доступ. Поддерживается синхронизация с облачным пространством, которое может использоваться для хранения резервной копии с историей переводов.

«Вы можете сохранить свою историю в Google Переводчике, чтобы найти значения слов и фраз, которые вы переводили. Сохранённые вами переводы синхронизируются между вашими устройствами. Приложение Переводчик синхронизирует историю с вашего устройства с облаком <…> Вы можете управлять сохранённой историей в разделе «Мои действия», — говорится в сообщении на странице поддержки Google.

Meta* объявила о новом амбициозном исследовательском проекте в области искусственного интеллекта, который должен привести к созданию системы для перевода устной речи, которое сможет работать во всём мире, с любым языком. О проекте было объявлено в рамках мероприятия, посвящённого широкому спектру возможностей, которые, по мнению Meta*, ИИ предоставит компании в работе с метавселенной.

Источник изображения: Alex Castro/The Verge

«Возможность общаться с кем угодно на любом языке — это суперспособность, о которой люди всегда мечтали, и ИИ сделает её реальностью ещё при нашей жизни», — сказал генеральный директор Meta* Марк Цукерберг (Mark Zuckerberg). В компании заявляют, что, несмотря на то, что современные инструменты перевода хорошо обслуживают широко распространённые языки, около 20 % населения Земли не говорят на языках, охватываемых этими системами. Многие из этих языков не имеют легко распознаваемых символов письменного текста, а некоторые вовсе не имеют стандартизированной системы письма, необходимой для обучения ИИ.

Meta* говорит, что хочет преодолеть эти проблемы, развернув новые методы машинного обучения в двух конкретных направлениях. Первое, получившее название No Language Left Behind (англ. — ни один язык не забыт), будет сосредоточено на создании моделей ИИ, которые могут научиться переводить языки, используя ограниченное количество обучающих примеров. Второе, Universal Speech Translator (англ. — универсальный переводчик речи), будет направлено на создание систем, которые напрямую переводят речь с одного языка на другой без необходимости использования текстового компонента в качестве посредника.

Meta* пока не объявила сроки реализации этих проектов или даже дорожную карту для основных этапов в достижении их целей. Вместо этого компания подчёркивает утопические возможности систем универсального перевода речи. Meta* предполагает, что описанные ею технологии принесут огромную пользу её продуктам, охватывающим весь мир, расширяя их охват и превращая их в необходимые инструменты коммуникации для миллионов людей. Предполагается, что универсальный переводчик будет встроен в метавселенную и станет частью ПО носимых устройств, таких как AR-очки.

Безусловно, за последние годы системы машинного перевода значительно повысили скорость и точность. Однако у лежащей в их основе технологии есть и недостатки. Машинный перевод упускает нюансы, важные для человека, и совершает странные неожиданные ошибки. Это имеет решающее значение, когда крупные платформы, такие как Facebook* и Instagram* автоматически применяют неверные переводы. Например, в 2017 году палестинский мужчина был арестован израильской полицией после того, как машинный перевод Facebook* неправильно перевёл его пост. Мужчина написал «доброе утро» на арабском языке, но социальная сеть перевела это как «навредить им» на английском и «напасть на них» на иврите.

Таким образом, хотя универсальный переводчик — это очень полезный продукт, Meta* должна будет доказать не только то, что её технология может выполнять возложенную на неё задачу, но и то, что как компания она может справедливо применять свои исследования.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Компания «Яндекс» запустила автоматический голосовой переводчик для англоязычных видеороликов. Об этом сообщается в блоге разработчиков. Сервис работает не с любыми видео, но доступен на YouTube, Vimeo и нескольких других популярных платформах. Главное условие — чтобы видео было общедоступным.

Источник: Яндекс

Чтобы посмотреть видео с русской озвучкой, нужно будет нажать специальную кнопку в плеере. Процесс перевода займёт несколько минут, после чего пользователю будет предложено два варианта озвучки — с женским голосом (Алиса) и мужским.

Согласно описанию, сервис сможет перевести почти любое видео на английском языке. Пока нет информации, какие у сервиса есть потенциальные ограничения. Устный переводчик доступен в «Яндекс.Браузере» для Windows, MacOS и Linux, а также в приложениях на iOS и Android.

«Полностью стереть языковые границы в интернете — одна из наших главных задач. Мы приступили к её решению ещё в 2011 году, и сейчас умеем переводить все основные виды контента: текст, изображения, видео. Дальше мы будем добавлять в перевод видео новые языковые пары и голоса, помогая людям узнавать новое и получать от этого удовольствие», — рассказал руководитель «Яндекс.Браузера» Роман Иванов в разговоре с vc.ru.

Днём ранее непубличное акционерное общество «Оллмай блог» (является юрлицом сервиса AllMyBlog) подало иск против «Яндекса». Компания обвинила IT-гиганта в краже идеи технологии при разработке автоматического перевода. Разработчики требуют признать утверждения «Яндекса» об уникальности сервиса недействительными, отметив, что у них есть похожий платный сервис — Telegram-бот Taradam, который переводит видеоролики за деньги. Кроме этого, стороны даже вели переговоры о сотрудничестве в сфере перевода видео, но не достигли соглашения. Вскоре после завершения переговоров «Яндекс» представил собственный сервис автоматического перевода.

Компания «Яндекс» выпустила крупное обновление для двух своих программных продуктов на Android. Разработчики научили приложения «Яндекс» и «Яндекс.Браузер» переводить текст с изображений на экране. Об этом 3DNews рассказали в пресс-службе компании.

Источник: «Яндекс»

Аналогичная функция была ранее интегрирована десктопную версию браузера. В её основу положены технологии компьютерного зрения и «Яндекс.Переводчик», который знает больше 90 языков.

Источник: «Яндекс»

Чтобы воспользоваться инструментом, необходимо включить автоматический перевод или активировать его при помощи специальных клавиш в окне браузера. Функция пока доступна только пользователям Android, но до конца года она появится на iOS.

Источник: «Яндекс»

Кроме этого, компания занимается разработкой переводчика видео, который позволит смотреть видеоролики на иностранных языках. Сроки запуска этой функции не уточняются.

Переводчик, разработанный Google, является одним из наиболее полезных приложений — особенно для тех, чья профессиональная деятельность связана с обработкой документов на различных языках. Его мобильная версия поддерживает использование клавиатуры, микрофона и камеры для ввода контента и, похоже, скоро компания впервые за несколько лет полностью пересмотрит интерфейс программы.

digitaltrends.com

Хотя Google-переводчик время от времени получает новые функции вроде транскрипции речи в текст в режиме реального времени, разработчики уже долгое время не обновляли саму структуру интерфейса. Оказывается, в скором будущем может появиться новый вариант оформления, вероятно — в первую очередь для новых смартфонов самой Google.

Энтузиасты портала XDA Developers традиционно разобрали новую APK-сборку ПО — Google Translate 6.21, вышедшую в эти выходные. Оказалось, в ней содержится полностью обновлённая версия интерфейса, однако при активации она почти не функционирует (например, не работает большинство важнейших кнопок). Зато можно приблизительно оценить, как продукт будет выглядеть в будущем.

xda-developers.com

Судя по скриншотам, новый интерфейс обеспечивает более удобное управление одной рукой — кнопки вызова камеры, микрофона и переключения языков сместились в нижнюю часть экрана. Исчезло «гамбургерное» меню — сейчас в нём расположены подразделы вроде «Разговорника», «Сохранённых фраз», «Перевода офлайн» и «Настроек». Судя по всему, эти функции можно будет вызвать с помощью кнопки «Ещё» (More), расположившейся в нижнем левом углу. Левый скриншот отображает текущую версию интерфейса.

По данным XDA Developers, высока вероятность того, что новый вариант будет доступен только для смартфонов Google Pixel 2021 года, в частности, для ещё не вышедшего Pixel 6 на Android 12. Эксклюзивные функции и интерфейс — обычное дело для фирменных устройств компании.

Компания «Яндекс» официально представила технологию для перевода и озвучки любого видео в интернете, которая построена на основе машинного обучения. Система объединила в себе машинный перевод, технологии биометрии, а также распознавания и синтеза речи. Новая технология позволит пользователям «Яндекс.Браузера» смотреть ролики на иностранном языке с автоматически сгенерированной закадровой озвучкой.

Изображение: Яндекс

Над созданием прототипа технологии трудились несколько команд разработчиков. В итоге была получена система, автоматически определяющая пол говорящего в видео, чтобы подготовить соответствующий голос. Для более точного сопоставления перевода с картинкой переводчик делает паузы и ускоряет речь в нужных местах. Темп речи переводчика отслеживается и корректируется специальным алгоритмом.

«В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы. Яндекс.Браузер давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап. Это большая сложная задача, которую никто в мире еще не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше», — говорит руководитель направления обработки естественного языка в «Яндексе» Дэвид Талбот.

На данном этапе технология перевода работает только с роликами на английском языке. Разработчики испытали её на видео разной тематики, в том числе роликах об изменении климата, машинном обучении и др. Увидеть, как именно работает прототип технологии перевода можно уже сейчас.

Поскольку компании стремятся осуществлять свою деятельность во всех регионах мира и общаются в интернете с помощью таких сервисов, как Zoom, языковой барьер может стать реальным препятствием для выполнения работы. В понедельник сервис видеоконференций Zoom объявил о приобретении немецкого стартапа Karlsruhe Information Technology Solutions (Kites), чтобы добавить в свою платформу функцию перевода в реальном времени на базе машинного обучения.

Luis Alvarez/Getty Images

Условия сделки не разглашаются. Известно лишь, что в результате слияния инженерная группа Zoom пополнится 12 специалистами в области машинного перевода из Kites. Zoom сообщила, что команда Kites останется в Карлсруэ (Германия) и будет помогать инженерной группе Zoom реализовать возможность перевода для пользователей сервиса.

Kites — одно из первых приобретений Zoom после продажи в начале этого года акций на сумму более $1,75 млрд. В заявлении, поданном в Комиссию по ценным бумагам и биржам США в январе этого года, Zoom сообщила, что часть капитала планирует использовать для осуществления слияний и поглощений. В мае прошлого года Zoom купила стартап Keybase, специализирующийся на вопросах кибербезопасности, с целью разработки функции сквозного шифрования.