Оригинал материала: https://3dnews.ru/1091877

Meta представила SeamlessM4T — универсальную ИИ-модель для перевода текста и речи почти на 100 языков, включая русский

Сегодня Meta представила SeamlessM4T, первую универсальную мультимодальную и многоязычную модель перевода с использованием ИИ, которая позволяет пользователям общаться, не замечая языковых барьеров. SeamlessM4T на данный момент доступна исследователям и разработчикам под соответствующей лицензией. Также опубликованы метаданные SeamlessAlign, крупнейшего открытого набора данных для мультимодального перевода, включающего 270 000 часов изученной речи.

 Источник изображения: ***

Источник изображения: Meta

Создание универсального языкового переводчика, подобного вымышленной «Вавилонской рыбке» из романов Дугласа Адамса «Автостопом по Галактике», является непростой задачей, а существующие системы преобразования речи в речь и речи в текст охватывают лишь небольшую часть языков мира. SeamlessM4T основана на достижениях исследователей всего мира за многие годы в стремлении создать универсальный переводчик. По сравнению с подходами, использующими отдельные модели, единый системный подход SeamlessM4T уменьшает количество ошибок и задержек, повышая эффективность и качество процесса перевода.

 Прикольный гаджет!  / Источник изображения: Фильм «Автостопом по Галактике»

Прикольный гаджет! / Источник изображения: Фильм «Автостопом по Галактике»

В прошлом году разработчики Meta выпустили No Language Left Behind (NLLB), модель машинного перевода текста в текст, которая поддерживает 200 языков и с тех пор интегрирована в Википедию в качестве одного из поставщиков услуг перевода. Ранее они продемонстрировали универсальный переводчик речи, который стал первой системой прямого преобразования речи в речь для южноминьского языка (диалект китайского). Ещё один языковой проект Meta — Massively Multilingual Speech, система по распознаванию, идентификации и синтезу речи на более чем 1100 языках.

SeamlessM4T опирается на результаты всех этих проектов, обеспечивая многоязычный и мультимодальный перевод на основе единой модели, построенной на широком спектре устных источников данных с самыми современными результатами. SeamlessM4T поддерживает:

  • Распознавание речи почти на 100 языках;
  • Преобразование речи в текст почти для 100 языков ввода и вывода;
  • Преобразование речи в речь, поддержка почти 100 языков ввода и 36 (включая английский и русский) языков вывода;
  • Текстовый перевод почти на 100 языков;
  • Преобразование текста в речь, поддержка почти 100 языков ввода и 35 (включая английский и русский) языков вывода.

SeamlessM4T — очередной шаг в усилиях исследователей по созданию технологии на базе ИИ, которая поможет соединять людей, говорящих на разных языках. Узнать больше о SeamlessM4T можно в блоге Meta AI.



Оригинал материала: https://3dnews.ru/1091877