Сегодня 07 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Microsoft представила VibeVoice — открытый ИИ, превращающий текст в полуторачасовые подкасты

Microsoft представила проект с открытым исходным кодом VibeVoice в области искусственного интеллекта — новую систему синтеза речи, способную генерировать из текста аудиоподкасты длительностью до 90 минут на английском или китайском языке. Технология уже доступна для тестирования любому желающему онлайн или с установкой на локальное устройство пользователя.

 Источник изображения: AI

Источник изображения: AI

Разработчики охарактеризовали VibeVoice как новаторский фреймворк, созданный для генерации продолжительного по времени аудиоконтента с несколькими участниками непосредственно из текста. Как пишет Windows Central, система решает ключевые проблемы традиционных синтезаторов речи (TTS), такие как масштабируемость, согласованность характеристик голоса и естественность чередования реплик в диалоге. Модель способна синтезировать аудио продолжительностью до 90 минут с участием до четырёх уникальных голосов, что превосходит ограничения в 1-2 спикера, характерные для многих предыдущих ИИ-моделей.

В настоящее время для тестирования доступны две версии модели: на 1,5 и 7 млрд параметров. Первая может генерировать до 90 минут аудио с длиной контекста 64 тыс. токенов, тогда как вторая, предположительно более качественная из-за большего размера, ограничена 45 минутами и окном в 32 тысячи токенов. Также ожидается выпуск облегчённой версии на 0,5 млрд параметров, предназначенной для работы в реальном времени. Для локальной работы меньшая модель требует около 7 Гбайт видеопамяти, а для большей может потребоваться до 18 Гбайт VRAM.

На текущий момент ИИ-модель VibeVoice обучена только на английском и китайском языках, включая мандаринскую разновидность (севернокитайский или путунхуа). Однако в Microsoft отмечают, что в будущих версиях планируется расширение поддержки других языков. Система способна передавать эмоции, управлять сменой реплик между участниками и генерировать естественные диалоги, хотя попытки воспроизведения музыки пока остаются неудачными. Голоса звучат довольно реалистично, однако их искусственное происхождение остаётся заметным. В перспективе разработчики рассматривают возможность интеграции функции клонирования голоса.

Разработчики отмечают, что при запуске потоковой версии аудиогенерации VibeVoice может быть интегрирована в чат-ассистенты, позволяя обходиться без внешних серверов. Дополнительные сведения, включая инструкции по установке и настройке, доступны в официальном репозитории VibeVoice в GitHub и на платформе Hugging Face.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Windows скоро станет умнее — Microsoft видит будущее ОС в ИИ и NPU 2 ч.
OpenAI запустила AgentKit — инструмент для создания ИИ-агентов за считанные минуты 2 ч.
ChatGPT научился запускать Spotify, Canva и множество других приложений прямо в чате 3 ч.
Copilot тормозит при запуске нескольких приложений Microsoft Office — и Microsoft не знает, почему 3 ч.
ChatGPT достиг 800 млн пользователей в неделю — плюс 60 % всего за полгода 3 ч.
Календарь релизов — 6–12 октября: Battlefield 6, Little Nightmares 3, 2XKO и Dying Breed 4 ч.
Анонсирован ремастер культового квеста Broken Sword 2: The Smoking Mirror — спустя год после выхода обновлённой первой части 4 ч.
Адский ритм-шутер Metal: Hellsinger останется последней игрой The Outsiders — Funcom закрывает студию, но разработчики не сдаются 5 ч.
Google представила ИИ-агента CodeMender — он самостоятельно устраняет уязвимости ПО 5 ч.
Ubisoft анонсировала дату выхода «мясистого» бесплатного дополнения к Assassin's Creed Mirage — геймплей и подробности Valley of Memory 6 ч.