«Яндекс» сообщил о расширении возможностей сервиса «Яндекс Переводчик», который теперь не только поможет пользователям сделать перевод контента, но отредактировать тексты на английском с помощью нейросети YandexGPT без глубокого знания языка.

Источник изображения: «Яндекс»

В новом разделе под названием «Редактор», который доступен для пользователей десктопной версии переводчика, можно улучшить текст, не исказив смысл написанного, переписать в более подходящем стиле с учётом характера общения, а также исправить ошибки. Функцию можно применить как ко всему тексту, так и к выделенному фрагменту.

Также с помощью переводчика можно подобрать синонимы для слова или выражения, выбрав подходящий из предложенных вариантов, что позволит разнообразить лексику.

Перечень опций раздела «Редактор» можно выбрать в колонке справа. Там же указано, что вскоре в разделе появятся ещё две опции, позволяющие сделать лексику проще или сложнее. Как отметил «Яндекс», лексику можно будет сделать более «продвинутой», близкой по стилю к академической литературе, научным статьям с помощью добавления в текст сложносоставных конструкций и редко употребляемых слов. Или, наоборот, упростить и сделать текст понятней для людей с базовым уровнем владения английским языком.

Meta✴ обновила свою ИИ-модель SeamlessM4T, предназначенную для перевода речи и текста. Теперь платформа поддерживает переводы почти на 100 языках, включая русский, в текстовом формате и на 36 — в устной речи. С новой архитектурой решения технологический гигант стремится сделать перевод более естественным и выразительным, что обещает стать прорывом в коммуникациях между людьми и производстве контента.

Источник изображения: Meta✴

Meta✴ построила SeamlessM4T на основе своей архитектуры многофункциональной модели UnitY на базе PyTorch, которая выполняет различные модальные переводы, а также автоматическое распознавание речи. Она использует систему BERT 2.0 для аудиокодирования, разбивая входные данные на составляющие токены для анализа, и HiFi-GAN unit vocoder для генерации голосовых ответов.

Первая из двух новых функций SeamlessM4T называется SeamlessExpressive. Как можно понять из названия, она переносит эмоциональные интонации голоса в переведённую речь. Система учитывает такие составляющие, как тон речи, её громкость, эмоциональный окрас (возбуждение, печаль или шёпот), темп речи и паузы. Всё это делает переводы менее механическими и более живыми. Поддерживаются английский, испанский, немецкий, французский, итальянский и китайский языки.

Вторая функция, SeamlessStreaming, начинает переводить речь, пока говорящий ещё не закончил предложение, что позволяет другим слушателям быстрее услышать перевод. Задержка составляет чуть менее двух секунд. По словам Meta✴, основной трудностью здесь было различие в структуре предложений разных языков, поэтому был разработан специальный алгоритм, который анализирует неполные аудиофрагменты и решает, достаточно ли контекста для начала генерации перевода или стоит ещё послушать говорящего.

Как и большинство предыдущих разработок Meta✴ в области машинного перевода, будь то Llama 2, Massively Multilingual Speech (MMS), Universal Speech Translator (UST) или амбициозный проект No Language Left Behind (NLLB), SeamlessM4T находится в открытом доступе на GitHub. «Мы считаем, что SeamlessM4T является важным прорывом в стремлении сообщества ИИ к созданию универсальных многофункциональных систем», — написала команда исследователей.

Развитие компанией Meta✴ ИИ-технологий перевода с различных языков открывает новые перспективы в области межъязыкового общения. Эти инновации могут значительно превзойти существующие решения, такие как инструменты перевода, разработанные компаниями Google и Samsung. Пока нет точной информации о сроках внедрения Meta✴ этих функций, но их потенциальное применение, например, в умных очках Meta✴, обещает сделать их незаменимыми в повседневной жизни и профессиональной сфере.

Периодически разработчики создают новые функции программного обеспечения, которые делают тот или иной аппаратный формфактор значительно более полезным. Одной из таких функций может стать режим двухэкранного переводчика, который в скором времени станет доступен владельцам складных смартфонов Google Pixel Fold.

Источник изображения: Google

Полностью раскрыв смартфон, пользователь может говорить с кем-то, кто говорит на другом языке, при этом переводы фраз каждого из собеседников будут отображаться по обе стороны. Таким образом, собеседник будет видеть, что вы говорите на его языке, и наоборот. Такие вот синхронные субтитры в реальной жизни. В настоящее время система доступна на 45 языках.

Напомним, выпущенный в середине того года смартфон Pixel Fold является первым устройством Google с гибким дисплеем. Аппарат оснащён 7,6-дюймовым основным дисплеем и 5,8-дюймовым внешним экраном. Его аппаратной основой стал фирменный микропроцессор Google Tensor 2, аналогичный тому, что использовался в Pixel 7 и Pixel 7 Pro. В конструкции задействован прочный шарнирный механизм, способный выдержать 200 тыс. складываний. Что касается цены, то приобрести Pixel Fold можно за $1800.

Интернет-пользователи привыкли воспринимать возможность перевода веб-страниц как что-то должное. Инструмент перевода страниц пользуется большой популярностью, поэтому постепенно разработчики интегрируют его в разные продукты. На этой неделе функция перевода стала доступна в мобильной версии почтового сервиса Google Gmail.

Источник изображения: Google

Отметим, что функция автоматического перевода давно доступна пользователям веб-версии Gmail. Теперь же Google добавила полезную функцию в мобильную версию почтового сервиса, которым ежедневно пользуются миллионы людей по всему миру. Для пользователей Gmail на устройствах с Android функция перевода станет доступна на этой неделе, а в iOS-версии приложения она появится в конце месяца.

Как и в случае использования веб-версии, пользователь будет видеть небольшой баннер в верхней части электронного письма. Если в качестве основного языка пользователь использует английский, то баннер будет предлагать перевести сообщение на английский. В дополнение к этому можно выбрать опцию, благодаря которой все поступающие сообщения будут автоматически переводиться на выбранный пользователем язык. При необходимости можно отказаться от использования новой функции, но в Google её оценивают как «очень востребованную», что указывает на популярность переводчика сообщений в веб-версии сервиса.

Учёные уже давно записали профессию переводчика в умирающие, поскольку развитие систем машинного перевода ставит её под угрозу существования не первое десятилетие подряд. Компании Google удалось вывести технологию на новый уровень: искусственный интеллект теперь способен не только переводить речь человека, записанного на видео, но и адаптировать его артикуляцию к результату перевода на другой язык.

Источник изображения: Google

Другими словами, движения губ человека будут синхронизированы со словами, которые он якобы произносит на другом языке. Работа «универсального переводчика», как незатейливо назвали эту технологию в Google, состоит из нескольких этапов. Сперва система распознаёт речь выступающего на видео человека «на слух» и переводит её в текстовую форму. Данный текст уже переводится на нужный язык, из него тут же синтезируется речь с сохранением тембра и эмоциональной окраски оригинала. Затем под новую речь на другом языке синхронизируются не только движения губ и мимика, но и жестикуляция говорящего. Конечное видео выглядит так, как будто спикер изначально произносил речь на другом языке, чего в реальности он не делал.

Данная технология открывает широкие возможности если не в кинематографе, где дубляж фильмов остаётся сложным процессом, то в сфере образования как минимум. Как справедливо опасается Google, подобный инструмент должен рано или поздно заинтересовать злоумышленников, которые с его помощью захотят фальсифицировать публичные выступления тех же политиков, например. По этой причине корпорация намерена не только распространять технологию «универсального перевода» через доверенных партнёров, но и наделять результирующие видео разного рода водяными знаками, которые позволяют зрителю понять, что ролик является продуктом искусственного интеллекта.

Компания Microsoft выпустила очередное обновление коммуникационного решения Skype. Теперь интегрированный в продукт переводчик позволяет осуществлять перевод и последующее озвучивание речи пользователя его же голосом — только на другом языке.

Источник изображения: Chase Chappell/unsplash.com

Функция TruVoice максимально упрощает общение даже тем, кто не знает языка собеседника. Обработка речи с помощью алгоритмов искусственного интеллекта буквально творит чудеса. В Microsoft заявляют, что инструмент Skype Translator комбинирует систему распознавания голоса с алгоритмами обработки естественных языков.

В результате беседы должны становятся более «человечными», что в теории помогает налаживать контакты с людьми из других стран. Другими словами, ещё до перевода система умеет распознавать и интерпретировать слова собеседников.

Известно, что уже поддерживается 10 языков, включая русский, мандаринский диалект китайского, арабский, бразильский португальский, английский, испанский, итальянский, французский и немецкий. Кроме того, разговоры на более 60 языках система способна конвертировать в текст на других языках.

Источник изображения: Skype

Если разговаривать «естественными» голосами по каким-либо причинам неприемлемо, можно выбрать искусственные роботизированные варианты. Пока функция Skype доступна только в разговорах один на один, но в ближайшие месяцы Microsoft обещает добавить её в групповые беседы и даже разговоры с собеседниками по телефону.

Большинство сервисов перевода с одного языка на другой используют удалённые серверы и облачные ИИ-фреймворки для выполнения пользовательских задач. Mozilla пошла другим путём и представила конфиденциальный инструмент Firefox Translations для офлайн-переводов в своём браузере.

Источник изображения: Mozilla

В отличие от Google Translate, Bing Microsoft Translator, DeepL Translate и прочих онлайн-сервисов подобного типа, алгоритмы расширения Firefox Translations работают полностью в офлайн-режиме. Другими словами, переводы выполняются локально на компьютерах пользователей без передачи обрабатываемых текстовых данных на сторонние серверы.

В настоящий момент Firefox Translations поддерживает работу с 10 языками: английским, испанским, немецким, французским, итальянским, болгарским, португальским, польским, эстонским и чешским. При этом работы продолжаются, на очереди русский, украинский, персидский (фарси), исландский, норвежский нюнорск, норвежский букмол и голландский языки.

В разработке Mozilla сотрудничает с The Bergamot Project Consortium, основной специализацией проекта является организация машинных переводов, локально выполняемых в браузере. Кроме того, в проекте участвуют несколько европейских университетов. Средства получены из европейского фонда программы Horizon 2020.

Firefox Translations продолжает совершенствоваться, а финансирование Евросоюзом, возможно, позволит проекту избежать мрачной судьбы Firefox OS и других, не оправдавших ожиданий инициатив. Пока на странице проекта насчитывается чуть более 40 тыс. пользователей.

Приблизительно 2,8 тысяч языков мира из семи тысяч известных существуют без письменности. Такие языки не подходят для современных систем перевода на основе алгоритмов машинного обучения, поскольку обычно компьютеры переводят устную речь в письменную для последующего перевода на другой язык. Компании Meta✴, похоже, удалось решить эту проблему, благодаря новому ИИ-инструменту.

Источник изображения: bruce mars/unsplash.com

В рамках разработанной Meta✴ программы Universal Speech Translator (UST) устная речь на одном языке будет переводиться в устную же на другом, благодаря чему будущие жители метавселенной, смогут намного легче взаимодействовать друг с другом.

В рамках проекта исследователи обратились к диалекту хоккиен — одному из официальных языков Тайваня и довольно широко распространённому в Азии, при этом не имеющему собственной письменности.

Для тренировки системам машинного перевода обычно необходимы письменные и устные образцы языка. Для того чтобы обойти подобные ограничения, используется модель т.н. speech-to-unit translation (S2UT), в рамках которой устная речь преобразуется в «акустические единицы» в режиме реального времени.

Речь на не имеющем письменности языке конвертируется сначала в текст на родственном языке-посреднике, имеющем письменность (в данном случае на мандаринском диалекте), который уже можно переводить на английский и наоборот с последующим машинным обучением системы. Пока система обеспечивает ограниченное общение носителей хоккиена и говорящих по-английски. Она переводит по предложению за раз, но глава Meta✴ Марк Цукерберг (Mark Zuckerberg) уверен, что со временем модель будет использована с разными языками и позволит общаться в режиме реального времени.

Помимо моделей и тренировочных данных, уже выложенных Meta✴ в открытый доступ, компания опубликовала и другие инструменты, потенциально позволяющие исследователям создавать собственные системы для перевода устной речи в устную (S2ST).

Команда разработчиков «Яндекса» сообщила об очередных доработках технологии закадрового перевода видеороликов на иностранных языках и включении поддержки синхронного перевода с использованием 12 голосов — шести мужских и шести женских.

Источник изображения: «Яндекс»

Система закадрового перевода интегрирована в «Яндекс.Браузер» и в полной мере использует технологии машинного обучения и искусственного интеллекта на базе нейронных сетей.

Для распознавания разных спикеров на видео используются две нейросети: сначала одна из них переводит речь в текст, восстанавливает пунктуацию и определяет границы предложений, затем вторая анализирует спектрограмму голоса и отмечает на аудиодорожке фрагменты, сказанные разными людьми. Таким образом становится ясно, кто из спикеров что произнёс, и воспринимать перевод видео с большим количеством действующих лиц становится намного легче.

«Мы постоянно работаем над качеством перевода и озвучки, чтобы дать нашим пользователям доступ к любому контенту со всего мира. По нашим оценкам, около половины YouTube-роликов на иностранных языках — это ролики с тремя и более спикерами. Смотреть их с двухголосой озвучкой не совсем удобно — поэтому мы и сделали десять новых голосов», — отмечают в «Яндексе».

В настоящий момент система закадрового перевода «Яндекса» поддерживает английский, французский, немецкий, испанский и итальянский языки. В планах компании — добавление новых языковых пар и расширение функциональных возможностей продукта.

Сервисы «ВКонтакте» осваивают функцию автоматического перевода сообщений. Возможность перевода посланий с иностранных языков появилась как в общем приложении «ВКонтакте», так и в «VK Мессенджере». Система поддерживает перевод английский, испанский и португальский языки. Ожидается, что нововведение поможет пользователям преодолеть языковой барьер при общении с иностранцами — в совокупности на этих языках говорят миллиарды человек.

Источник изображения: ВКонтакте

В компании предполагают, что благодаря новой функции люди из разных стран смогут знакомиться, общаться, практиковаться в разговорах на иностранных языках и получать новую информацию, не встречая препятствий в виде языкового барьера. «ВКонтакте» не использует сторонние инструменты для перевода, а сам перевод происходит по желанию пользователя. Текст в социальной сети можно не только перевести парой нажатий на нужные пункты меню, но и прослушивать — это поможет понять, как будет звучать послание на другом языке.

Важной особенностью технологии является использование нейросети, обученной на данных из открытых источников, которая способна определять исходный язык и учитывать особенности речи пользователя в зависимости от его региона происхождения, интересов и даже сферы деятельности. В частности, система различает сленговые выражения, а также способна переводить как художественные тексты, так и материалы, написанные официально-деловым стилем.

Источник изображения: ВКонтакте

Как заявил технический директор «ВКонтакте» Александр Тоболь, «моментальные переводы с помощью технологий машинного обучения раскроют новые возможности, чтобы знакомиться с людьми из разных стран, изучать новые языки и находить близких по духу людей, вне зависимости от языка, на котором они общаются». По его словам, в общей сложности пользователи «ВКонтакте» обмениваются миллиардами сообщений в сутки, узнавая новое от друзей, коллег, однокурсников или близких.

Компания не впервые внедряет языковые сервисы. Не так давно «ВКонтакте» запустила возможность автоматического перевода публикаций в сообществах с русского на английский язык. Предполагается, что это поможет жителям других стран познакомиться с уникальными русскоязычными материалами, недоступными в других социальных сетях по разным причинам, — авторы контента могут рассказать о себе широкой англоговорящей аудитории.

Meta✴ разработала единую модель искусственного интеллекта (ИИ) NLLB-200, предназначенную для перевода и поддерживающую 200 языков, в том числе и те, с которыми не работают современные коммерческие инструменты. Компания открыла исходный код проекта и предложила всем желающим пользоваться результатами её работы.

Источник изображения: Gerd Altmann / pixabay.com

Модель ИИ стала частью крупномасштабного научно-исследовательского проекта Meta✴, на который компания делает ставку по всем важным для себя направлениям: от соцсетей Facebook✴ и Instagram✴ до технологий виртуальной и дополненной реальности. Иными словами, с данным инструментом компания станет не только лучше понимать своих пользователей (что важно для целевой рекламы), но и получит возможность повысить качество AR/VR-проектов.

В компании сделали упор на малоизвестные языки, поддержка которых отсутствует в большинстве современных инструментов для перевода, в частности, работа по 55 африканским языкам дала «высококачественные результаты». В бенчмарке FLORES-101, ориентированным на языковые ИИ-модели, система NLLB-200 показала результат, на 44 % превзошедший средние показатели, тогда как по отдельным африканским и индийским диалектам преимущество достигло 70 %.

Наконец, компания заявила о запуске программы грантов для некоммерческих организаций, которые будут использовать модель в работе, — общий бюджет программы составил $200 000.

В рамках инициативы Bergamot компания Mozilla при участии университетов Эстонии, Чехии и Великобритании представила инструменты для машинного перевода с различных языков, работающие на локальных системах без обращения к внешним сервисам. Разработки проводились при финансовой поддержке ЕС и распространяются под лицензией MPL 2.0 (Mozilla Public License Version 2.0).

Источник изображения: Mozilla

Как сообщает портал OpenNET, система основана на движке bergamot-translator, имеются дополнительные инструменты для машинного обучения системы и уже подготовленные модели для 14 языков. Присутствуют модели для перевода с английского на русский и наоборот.

Движок Bergamot translator, написанный на C++, в браузерной версии «компилируется в промежуточное бинарное представление WebAssembly при помощи компилятора Emscripten». Движок «представляет собой обвязку над фреймворком машинного перевода Marian, в котором применяется рекуррентная нейронная сеть (RNN) и языковые модели на основе трансформеров». Примечательно, что для ускорения процесса машинного обучения и перевода может использоваться графический ускоритель. Известно, что фреймворк Marian применяется сервисом Microsoft Translator — он развивается преимущественно инженерами Microsoft при участии научных команд Эдинбургского и Познанского университетов.

Источник изображения: Mozilla

Пользователи получат возможность перевода в ходе заполнения онлайн-форм, будет доступна и оценка качества с отметкой сомнительных переводов. Предварительно протестировать возможности системы пока можно на специальной странице — у некоторых пользователей сервис может функционировать некорректно. Доступно и само расширение Firefox Translations, но для его использования необходим браузер Firefox.

Представители Google ещё в 2020 году анонсировали функцию запоминания истории переводов для своего сервиса Google Переводчик. Похоже, что в скором времени это нововведение наконец станет доступно широкому кругу пользователей.

Источник изображения: Android Police

Некоторые пользователи Google Переводчика обратили внимание на то, что при запуске приложения стало появляться сообщение, в котором предлагается создать резервную копию истории переводов. При этом пользователь может отказаться от создания резервной копии, если в этом нет необходимости, продолжив пользоваться сервисом в обычном режиме.

В настройках приложения Google Переводчик появился новый раздел «История», который может использоваться для просмотра переводов в хронологическом порядке. Кроме того, отдельные переводы можно переместить в список избранного, чтобы в дальнейшем можно было оперативно получить к ним доступ. Поддерживается синхронизация с облачным пространством, которое может использоваться для хранения резервной копии с историей переводов.

«Вы можете сохранить свою историю в Google Переводчике, чтобы найти значения слов и фраз, которые вы переводили. Сохранённые вами переводы синхронизируются между вашими устройствами. Приложение Переводчик синхронизирует историю с вашего устройства с облаком <…> Вы можете управлять сохранённой историей в разделе «Мои действия», — говорится в сообщении на странице поддержки Google.