Сегодня 28 февраля 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Meta✴ научила ИИ-модель SeamlessM4T переводить текст и речь быстрее и естественнее

Meta обновила свою ИИ-модель SeamlessM4T, предназначенную для перевода речи и текста. Теперь платформа поддерживает переводы почти на 100 языках, включая русский, в текстовом формате и на 36 — в устной речи. С новой архитектурой решения технологический гигант стремится сделать перевод более естественным и выразительным, что обещает стать прорывом в коммуникациях между людьми и производстве контента.

 Источник изображения: ***

Источник изображения: Meta

Meta построила SeamlessM4T на основе своей архитектуры многофункциональной модели UnitY на базе PyTorch, которая выполняет различные модальные переводы, а также автоматическое распознавание речи. Она использует систему BERT 2.0 для аудиокодирования, разбивая входные данные на составляющие токены для анализа, и HiFi-GAN unit vocoder для генерации голосовых ответов.

Первая из двух новых функций SeamlessM4T называется SeamlessExpressive. Как можно понять из названия, она переносит эмоциональные интонации голоса в переведённую речь. Система учитывает такие составляющие, как тон речи, её громкость, эмоциональный окрас (возбуждение, печаль или шёпот), темп речи и паузы. Всё это делает переводы менее механическими и более живыми. Поддерживаются английский, испанский, немецкий, французский, итальянский и китайский языки.

Вторая функция, SeamlessStreaming, начинает переводить речь, пока говорящий ещё не закончил предложение, что позволяет другим слушателям быстрее услышать перевод. Задержка составляет чуть менее двух секунд. По словам Meta, основной трудностью здесь было различие в структуре предложений разных языков, поэтому был разработан специальный алгоритм, который анализирует неполные аудиофрагменты и решает, достаточно ли контекста для начала генерации перевода или стоит ещё послушать говорящего.

Как и большинство предыдущих разработок Meta в области машинного перевода, будь то Llama 2, Massively Multilingual Speech (MMS), Universal Speech Translator (UST) или амбициозный проект No Language Left Behind (NLLB), SeamlessM4T находится в открытом доступе на GitHub. «Мы считаем, что SeamlessM4T является важным прорывом в стремлении сообщества ИИ к созданию универсальных многофункциональных систем», — написала команда исследователей.

Развитие компанией Meta ИИ-технологий перевода с различных языков открывает новые перспективы в области межъязыкового общения. Эти инновации могут значительно превзойти существующие решения, такие как инструменты перевода, разработанные компаниями Google и Samsung. Пока нет точной информации о сроках внедрения Meta этих функций, но их потенциальное применение, например, в умных очках Meta, обещает сделать их незаменимыми в повседневной жизни и профессиональной сфере.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Google объяснила, как Wear OS 4 значительно повышает время автономной работы смарт-часов 2 ч.
«Позор для сообщества Xbox»: бывший эксклюзив Microsoft вышел на PS5 в лучшем виде, чем доступен на Xbox 7 ч.
Еженедельный чарт Steam: новинки заняли почти половину топ-10, а Elden Ring вернулась в тройку лидеров после открытия предзаказа DLC 7 ч.
ВТБ переведёт десятки тысяч рабочих мест на отечественную ОС Astra Linux 8 ч.
Инсайдер раскрыл главную игру мартовской подборки PS Plus за день до официального анонса 9 ч.
Sony отменила новую Twisted Metal 10 ч.
Сегодняшний сбой в Рунете объяснили проверкой спецслужб и настройкой шлюзов Роскомнадзора 10 ч.
Покемоны следующего поколения: анонсирована Pokemon Legends: Z-A для «систем семейства Nintendo Switch» 10 ч.
Qualcomm представила AI Hub — «инструмент мечты» для создания ИИ-приложений, работающих локально 11 ч.
PlayStation объявила о массовых сокращениях — увольнение 900 сотрудников, закрытие внутренней студии Sony, отмена игр 12 ч.
К концу 2025 года Intel готова оснастить своими процессорами с ИИ до 100 млн ПК 2 ч.
Qualcomm показала, что её компьютерный чип Snapdragon X Elite до 10 раз быстрее Intel Core Ultra в ИИ-задачах по генерации изображений 2 ч.
Tecno представила смартфон Camon 30 Premier 5G с технологией PolarAce и другие модели серии 6 ч.
Новая статья: Обзор видеокарты NVIDIA GeForce RTX 4070 Ti SUPER: RTX 4080 на минималках 7 ч.
«Тантор Лабс» и «Аквариус» представили программно-аппаратную БД-платформу Tantor XData 8 ч.
Gigabyte представила новые серверы для ИИ, 5G и периферийных вычислений 9 ч.
«Морион» наладил в Перми серийное производство отечественных управляемых Ethernet-коммутаторов 9 ч.
Российские учёные создали прозрачные электроды для умных окон, оптоэлектроники и солнечных панелей 10 ч.
Huawei CLoud запустит облачный регион в Египте и построит ИИ-центр в Гонконге 10 ч.
Onyx представила 7-дюймовую электронную книгу Boox Leaf 3C на цветном экране E Ink Kaleido 3 11 ч.