Новая функция представлена «Яндексом» в браузере собственной разработки. Теперь он получил возможность осуществлять перевод и закадровую озвучку видео с китайского языка на русский. Для обучения нейросеть использует огромный массив видео на китайском языке, анализируя полученные данные.

Источник изображения: «Яндекс»

Перевод осуществляется в несколько этапов. При этом нейросеть учитывает тон и контекст речи в видеопотоке. В компании подчеркнули, что ИИ способен различать четыре тона — данные фонетические особенности произношения способны значительно менять смысл почти любого высказывания в китайском языке. Кроме того, система «Яндекса» различает 6,5 тыс. иероглифов.

Как сообщают «Ведомости», для обучения ИИ компания использовала 100 тыс. видеоматериалов с субтитрами на севернокитайском языке, наиболее распространённом на территории Китая.

Для того, чтобы зритель мог воспользоваться переводом и озвучкой с китайского на русский язык, необходимо нажать кнопку «Перевести видео» в «Яндекс.Браузере». Сообщается, что технологией уже можно воспользоваться на YouTube.

Ранее сообщалось о том, что «Яндекс» внедрил многоголосый закадровый перевод видео и возможность синхронного перевода прямых трансляций.

В переводе видео принимают участие сразу четыре нейросети. Одна из них распознаёт речь с последующим преобразованием в текстовый формат, ещё одна идентифицирует пол говорящего по биометрическим данным, третья определяет, в каких местах необходимо расставлять знаки препинания и выделить смысловые фрагменты. Наконец, четвёртая переводит текст.

Видеохостинг YouTube расширяет круг создателей контента, имеющих возможность загружать аудиодорожки к видео на разных языках для своих видеоматериалов. Компания уже тестирует функцию на ограниченном числе авторов, а теперь такая возможность появилась у более широкой группы авторов.

Источник изображения: MrBeast

Желающие оценить функцию самостоятельно, могут зайти на канал MrBeast — ролик о выживании в течение 50 часов в Антарктиде. Нажав на значок шестерёнки, можно увидеть возможность выбора одной из 12 звуковых дорожек: русской, английской, португальской, французской, турецкой, испанской, корейской, арабской, индонезийской, вьетнамской, тайской, хинди.

При этом, разумеется, только одна из звуковых дорожек оригинальная, а остальные — дублированные. Открывающему видео по умолчанию доступна дорожка на том языке, каким он преимущественно пользуется в сервисе, но можно выбрать и любую из других доступных.

Сегодня на мероприятии «Прямой эфир из Парижа» Google анонсировала множество новых функций для своего Переводчика (Google Translate), включая улучшенный контекстный перевод, переработанное приложение для iOS и функцию бесшовного перевода при использовании дополненной реальности с помощью Google Lens.

Источник изображения: pixabay.com

На первом этапе поисковый гигант улучшит контекстный перевод на английском, французском, немецком, японском и испанском языках. Это обновление будет выпущено в ближайшие недели, а в ближайшие месяцы список поддерживаемых языков значительно расширится.

Теперь слова и фразы с несколькими трактовками будут переведены в зависимости от контекста, а предложения с использованием идиом будут звучать предельно естественно и корректно восприниматься носителями языка. Новые функции также позволят избежать нежелательного, оскорбительного или агрессивного перевода.

В прошлом году компания обновила приложение Google Translate для Android, добавив новый дизайн, соответствующий концепции Material You. Теперь и в приложение для iOS добавлены новые функции и обновлённый пользовательский интерфейс. Приложение получило крупную кнопку микрофона в нижней центральной части для облегчения голосового ввода. Приложение для iOS также обзавелось динамическим шрифтом, делающим переводы более читабельными по мере ввода. Также теперь от пользователя требуется меньше действий для выбора языка. В переработанном приложении добавлен жест смахивания вниз для доступа к недавним переводам и удержание кнопки языка для быстрого выбора недавно использовавшегося языка.

Приложение для iOS также недавно получило поддержку автономного перевода на 33 новых языка, включая баскский, корсиканский, гавайский, хмонг, курдский, латынь, люксембургский, суданский, идиш и зулу.

В сентябре прошлого года Google продемонстрировал новую функцию перевода, которая интеллектуально смешивает перевод с оригинальным изображением, заменяя только переведённый текст. То есть при переводе с помощью наведения камеры смартфона на постер, плакат или объявление пользователь увидит на дисплее исходное изображение с переведённым по месту текстом. Можно перевести текст и на сохранённых картинках. В настоящее время компания развёртывает эту возможность на Android-смартфонах с 6 Гбайт ОЗУ или более.

Помимо этого, Google также объявила о глобальном запуске мультипоиска, а также об улучшениях для Карт, включая иммерсивные виды пяти новых городов и расширение функции просматриваемых маршрутов для всех пользователей.

На презентации в Индии Google рассказала о функциях, которые сейчас тестируются на YouTube: упрощённый поиск по тексту внутри видеоролика, возможность подключать к одной записи несколько звуковых дорожек и раздел для видеокурсов.

Источник изображения: Christian Wiediger / unsplash.com

В рамках пилотного проекта дебютировала новая функция приложения поиска: при наличии видеозаписей в выдаче можно выбрать опцию «Поиск по видео» и посмотреть, есть ли в расшифровке ролика нужная фраза. Если совпадение обнаружено, можно сразу перейти к фрагменту ролика, в котором она звучит. Раньше эта возможность была только в веб-версии сервиса — нужно открыть расшифровку и найти нужный текст на странице. В мобильных приложениях под iOS или Android просмотр автоматической расшифровки уже есть, но только без поиска.

Раздел Courses, который появится в ближайшие месяцы, позволит авторам контента публиковать образовательные материалы с платным доступом — видеоролики и сопутствующий контент, включая файлы PDF и картинки в описаниях. Предусмотрена возможность делать уроки общедоступными, и отображаться они будут в интерфейсе, оптимизированном под образовательный контент.

Ещё одним нововведением стала поддержка нескольких звуковых дорожек, которые переключаются в настройках ролика. В Google уточнили, что проект реализуется при участии запущенного внутри компании стартапа Aloud, который подготовил систему синхронного машинного перевода. Обо всех новых возможностях компания рассказала в ходе презентации Google for India — о появлении этих функций для пользователей из других стран пока не говорится ничего.

Компания Microsoft выпустила очередное обновление коммуникационного решения Skype. Теперь интегрированный в продукт переводчик позволяет осуществлять перевод и последующее озвучивание речи пользователя его же голосом — только на другом языке.

Источник изображения: Chase Chappell/unsplash.com

Функция TruVoice максимально упрощает общение даже тем, кто не знает языка собеседника. Обработка речи с помощью алгоритмов искусственного интеллекта буквально творит чудеса. В Microsoft заявляют, что инструмент Skype Translator комбинирует систему распознавания голоса с алгоритмами обработки естественных языков.

В результате беседы должны становятся более «человечными», что в теории помогает налаживать контакты с людьми из других стран. Другими словами, ещё до перевода система умеет распознавать и интерпретировать слова собеседников.

Известно, что уже поддерживается 10 языков, включая русский, мандаринский диалект китайского, арабский, бразильский португальский, английский, испанский, итальянский, французский и немецкий. Кроме того, разговоры на более 60 языках система способна конвертировать в текст на других языках.

Источник изображения: Skype

Если разговаривать «естественными» голосами по каким-либо причинам неприемлемо, можно выбрать искусственные роботизированные варианты. Пока функция Skype доступна только в разговорах один на один, но в ближайшие месяцы Microsoft обещает добавить её в групповые беседы и даже разговоры с собеседниками по телефону.

Приблизительно 2,8 тысяч языков мира из семи тысяч известных существуют без письменности. Такие языки не подходят для современных систем перевода на основе алгоритмов машинного обучения, поскольку обычно компьютеры переводят устную речь в письменную для последующего перевода на другой язык. Компании Meta✴, похоже, удалось решить эту проблему, благодаря новому ИИ-инструменту.

Источник изображения: bruce mars/unsplash.com

В рамках разработанной Meta✴ программы Universal Speech Translator (UST) устная речь на одном языке будет переводиться в устную же на другом, благодаря чему будущие жители метавселенной, смогут намного легче взаимодействовать друг с другом.

В рамках проекта исследователи обратились к диалекту хоккиен — одному из официальных языков Тайваня и довольно широко распространённому в Азии, при этом не имеющему собственной письменности.

Для тренировки системам машинного перевода обычно необходимы письменные и устные образцы языка. Для того чтобы обойти подобные ограничения, используется модель т.н. speech-to-unit translation (S2UT), в рамках которой устная речь преобразуется в «акустические единицы» в режиме реального времени.

Речь на не имеющем письменности языке конвертируется сначала в текст на родственном языке-посреднике, имеющем письменность (в данном случае на мандаринском диалекте), который уже можно переводить на английский и наоборот с последующим машинным обучением системы. Пока система обеспечивает ограниченное общение носителей хоккиена и говорящих по-английски. Она переводит по предложению за раз, но глава Meta✴ Марк Цукерберг (Mark Zuckerberg) уверен, что со временем модель будет использована с разными языками и позволит общаться в режиме реального времени.

Помимо моделей и тренировочных данных, уже выложенных Meta✴ в открытый доступ, компания опубликовала и другие инструменты, потенциально позволяющие исследователям создавать собственные системы для перевода устной речи в устную (S2ST).

В «Яндекс Браузере» появилась возможность синхронно переводить и озвучивать на русском языке не только видео, уже выложенные в общий доступ на YouTube и Vimeo, но и делать тоже самое в реальном времени для онлайн-трансляций — озвучка возможна прямо по ходу эфира. Новая функция пока доступна в режиме открытого бета-тестирования и ограничена фиксированным набором каналов.

Источник изображения: yandex.ru

За 10 месяцев пользователи «Яндекса Браузера» просмотрели 81 млн роликов с закадровым переводом, пишут разработчики «Яндекс Браузера». После этого стал доступным перевод в формате титров, а сейчас настал черёд прямых эфиров. Автоматизированный синхронный перевод — задача сложная. Одному иностранному слову в зависимости от контекста могут соответствовать несколько русских, поэтому в идеале нейросети необходимо «скормить» как можно больше текста. Однако при работе в режиме реального времени это крайне трудная задача, поскольку задержка должна быть минимальной.

Поэтому потребовалось перестроить всю архитектуру автоматизированного перевода, задействовав сразу несколько нейросетей: первая распознаёт звуковой ряд и переводит его в текстовый формат, вторая определяет пол говорящего человека, третья расставляет знаки препинания и смысловые акценты, а четвёртая уже получает результат работы третьей и собственно производит перевод и озвучку.

Список поддерживаемых системой YouTube-каналов доступен на специальной странице. В перспективе разработчики «Яндекс Браузера» планируют добавить синхронный перевод к стримам в Twitch. Сейчас нейросети «Яндекса» работают с английским, немецким, французским, итальянским и испанским языками, позже будут добавлены ещё несколько европейских языков, а также японский, китайский и другие.

Мессенджер Telegram объявил о 12 крупном обновлении в уходящем году. В его состав вошли реакции, возможность добавить скрытый текст, автоматический перевод сообщений, а также QR-коды, для которых настраивается оформление.

Источник изображения: telegram.org

Реакция — это быстрый отклик на сообщение в виде интерактивных или анимированных эмодзи. В личных чатах они включены всегда, а для групп и каналов возможность их использования настраивается администраторами: можно не только разрешить сами реакции, но и установить, какие эмодзи будут отвечать за эту функцию. Можно ограничиться традиционными «лайками» или устраивать голосования.

При необходимости пользователи мессенджера получили возможность работать со скрытым текстом, например, при обсуждении кино или сериалов, но без раскрытия сценарных интриг. Настройка скрытого текста производится стандартными средствами форматирования — такой текст не показывается ни в текстах сообщений, ни в уведомлениях о них. Для просмотра скрытого текста достаточно просто коснуться его.

Важным нововведением стала функция перевода сообщений. Для запуска этой функции необходимо сначала её активировать в пункте «Язык» из меню «Настройки». Далее, чтобы перевести сообщение, достаточно просто коснуться его (или зажать пальцем в iOS). Настройки позволяют установить языки, для которых перевод не требуется. Функция доступна для любой версии Android, а также iOS 15+.

Для любого пользователя, настроившего к своему профилю публичную ссылку, теперь можно сгенерировать QR-код прямо в приложении; функция также доступна для групп, каналов и ботов. Рядом с публичной ссылкой появилась иконка QR-кода, нажав на которую можно сгенерировать не только сам код, но и его оформление: необходимые цвета и узор. Результат можно сохранить, распечатать или поделиться им в любом другом приложении.

Кроме того, в клиенте Telegram под macOS обновились меню по правому клику — улучшилась навигация и появились анимированные иконки для каждого пункта. И, наконец, были добавлены интерактивные версии для некоторых эмодзи.

Возможность перевода видеороликов с английского в «Яндекс.Браузере» доступна ещё с середины минувшего лета. Теперь разработчик добавил возможность озвучивать на русском ещё три распространённых языка — французский, испанский и немецкий. Такая возможность доступна в версиях браузера для всех распространённых операционных систем.

Источник: browser.yandex.ru

Для компьютеров и смартфонов перевод доступен в «Яндекс.Браузере» для Windows, macOS, Linux, а также iOS и Android. На смартфонах также можно воспользоваться приложением «Яндекс», в котором поддерживается аналогичная функциональность. Запустить перевод на гаджете можно, просто сказав «Алиса, включи перевод видео».

«Когда мы запускали перевод видео, то обещали не ограничиваться английским. И вот сегодня добавили к нему ещё три языка, которые востребованы нашей аудиторией», — заявил руководитель «Яндекс.Браузера» Роман Иванов. По его словам компания намерена продолжать движение в том же направлении — развивать технологию и добавлять новые языковые пары.

Автоматический перевод позволяет смотреть иностранные видео на YouTube, Vimeo и альтернативных популярных площадках. Перевод включается в любой локации, где присутствует стабильное интернет-соединение. При этом «Яндекс» способен самостоятельно предложить подборку роликов на иностранных языках для просмотра.

Новые языки переводятся по тому же принципу, что и английский. «Яндекс» распознаёт речь и преобразует её в текст, после чего переводит полученные данные и озвучивает их, оптимально совмещая перевод с видеорядом. Пользователю не придётся ждать перевода всего ролика — озвучка актуального фрагмента происходит непосредственно во время просмотра.