Сегодня 10 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Meta✴ научила ИИ-модель SeamlessM4T переводить текст и речь быстрее и естественнее

Meta обновила свою ИИ-модель SeamlessM4T, предназначенную для перевода речи и текста. Теперь платформа поддерживает переводы почти на 100 языках, включая русский, в текстовом формате и на 36 — в устной речи. С новой архитектурой решения технологический гигант стремится сделать перевод более естественным и выразительным, что обещает стать прорывом в коммуникациях между людьми и производстве контента.

 Источник изображения: ***

Источник изображения: Meta

Meta построила SeamlessM4T на основе своей архитектуры многофункциональной модели UnitY на базе PyTorch, которая выполняет различные модальные переводы, а также автоматическое распознавание речи. Она использует систему BERT 2.0 для аудиокодирования, разбивая входные данные на составляющие токены для анализа, и HiFi-GAN unit vocoder для генерации голосовых ответов.

Первая из двух новых функций SeamlessM4T называется SeamlessExpressive. Как можно понять из названия, она переносит эмоциональные интонации голоса в переведённую речь. Система учитывает такие составляющие, как тон речи, её громкость, эмоциональный окрас (возбуждение, печаль или шёпот), темп речи и паузы. Всё это делает переводы менее механическими и более живыми. Поддерживаются английский, испанский, немецкий, французский, итальянский и китайский языки.

Вторая функция, SeamlessStreaming, начинает переводить речь, пока говорящий ещё не закончил предложение, что позволяет другим слушателям быстрее услышать перевод. Задержка составляет чуть менее двух секунд. По словам Meta, основной трудностью здесь было различие в структуре предложений разных языков, поэтому был разработан специальный алгоритм, который анализирует неполные аудиофрагменты и решает, достаточно ли контекста для начала генерации перевода или стоит ещё послушать говорящего.

Как и большинство предыдущих разработок Meta в области машинного перевода, будь то Llama 2, Massively Multilingual Speech (MMS), Universal Speech Translator (UST) или амбициозный проект No Language Left Behind (NLLB), SeamlessM4T находится в открытом доступе на GitHub. «Мы считаем, что SeamlessM4T является важным прорывом в стремлении сообщества ИИ к созданию универсальных многофункциональных систем», — написала команда исследователей.

Развитие компанией Meta ИИ-технологий перевода с различных языков открывает новые перспективы в области межъязыкового общения. Эти инновации могут значительно превзойти существующие решения, такие как инструменты перевода, разработанные компаниями Google и Samsung. Пока нет точной информации о сроках внедрения Meta этих функций, но их потенциальное применение, например, в умных очках Meta, обещает сделать их незаменимыми в повседневной жизни и профессиональной сфере.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«До сих пор отходим от похмелья»: разработчики Ghost of Yotei с размахом отпраздновали перенос GTA VI 7 ч.
Нейросеть Google Veo 3 научилась создавать вертикальные видео для соцсетей 8 ч.
По мотивам «Повести временных лет» выпустят MMORPG на стыке научной фантастики и фэнтези с «эпической историей» и геймплеем «нового уровня» 10 ч.
Антиспам-сервис Microsoft начал блокировать безопасные ссылки в Teams и Exchange Online, и отправлять письма в карантин 10 ч.
Пароли «admin» и другие дыры в кибербезопасности сети ресторанов Burger King выявили белые хакеры 11 ч.
Из Meta продолжается массовый исход специалистов в сфере ИИ — Цукерберг пытается его остановить, но безуспешно 11 ч.
Microsoft тестирует новые ИИ-функции в «Проводнике» Windows 11 11 ч.
Бывший сотрудник подал на WhatsApp в суд из-за игнорирования проблем с кибербезопасностью 13 ч.
Соцсети заполонили боты: Сэм Альтман пожаловался, что интернет стал искусственным из-за ИИ 15 ч.
Meta обвинили в помехах исследованиям о рисках для детей в Instagram и других платформах 15 ч.
До 300 000 рублей: объявлены российские цены на iPhone Air, iPhone 17, 17 Pro и 17 Pro Max 3 ч.
Apple представила смарт-часы Watch Ultra 3 со спутниковой связью и автономностью на 42 часа за $799 4 ч.
Новая статья: IFA 2025: выставки электроники уже не те, но без интересных новинок не обошлось 4 ч.
Apple объявила дату выхода iOS 26 со «стеклянным» дизайном для всех совместимых устройств 5 ч.
Представлен беспроводной контроллер Apple N1 для Wi-Fi 7 и Bluetooth 6 в новых iPhone 5 ч.
Apple представила плечевой ремешок для iPhone 17 Air за $59 и другие модные аксессуары 5 ч.
Fermi America, стоящая за мегапроектом 11-ГВт ИИ ЦОД HyperGrid с питанием от АЭС, собралась на биржу 5 ч.
Apple представила смарт-часы Watch Series 11 — самые тонкие, с 5G и детектором гипертонии за $399 5 ч.
Представлены беспроводные наушники Apple AirPods Pro 3 с живым переводом и датчиком пульса за $249 5 ч.
Дебютировали Apple Watch SE 3 с усиленным стеклом, AoD, повышенной автономностью и 5G — от $249 7 ч.