Сегодня 24 июля 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Microsoft представила VALL-E — ИИ-модель, которая имитирует голос по маленькому образцу

Microsoft представила модель искусственного интеллекта (ИИ) под названием VALL-E — она преобразует текст в речь, точно имитируя голос человека, а образцом может служить запись продолжительностью всего в три секунды. При этом ИИ сохраняет эмоциональную окраску речи образца.

 Источник изображения: Maxime VALCARCE / unsplash.com

Источник изображения: Maxime VALCARCE / unsplash.com

Авторы проекта говорят, что система окажется полезной при разработке приложений с возможностью высококачественного преобразования текста в речь и при создании аудиоконтента в сочетании с другими ИИ-генераторами контента вроде GPT-3. Хотя они также признают, что её можно использовать для редактирования аудиозаписи по расшифровке — модель может «заставить» человека произносить слова, которых он никогда в реальности не говорил.

При создании модели использовалась разработанная Meta технология EnCodec, которая обеспечивает эффективное сжатие аудиосигнала. В отличие от традиционных методов преобразования текста в речь, VALL-E не конструирует звуковые волны, а анализирует особенности речи человека, разбивает эти данные на отдельные компоненты (так называемые «токены») и генерирует запись на основе того, что уже «знает» об образце — моделирует голос, как он бы мог звучать за пределами трёхсекундного образца. Обучение модели производилось на библиотеке LibriLight, собранной Meta — она же, в свою очередь, была построена на 60 000 часов англоязычной речи более чем 7000 носителей: данные были позаимствованы преимущественно из коллекции LibriVox.

 Источник изображения: valle-demo.github.io

Источник изображения: valle-demo.github.io

В представленных на сайте проекта образцах колонка «Speaker Prompt» содержит образцы речи; в колонке «Ground Truth» представлена запись необходимого текста в исполнении человека, с которого был записан образец; «Baseline» — образец работы традиционных преобразователей текста в речь, а «VALL-E» — работа новой ИИ-модели. Нейросеть также может предложить несколько вариантов необходимого текста с голосом на образце. Создатели системы добавили, что она не только придаёт голосу на генерируемой записи нужный эмоциональный окрас, но и имитирует «акустическое окружение» образца — если исходная запись была сделана с телефонного разговора, то и результат будет напоминать разговор по телефону.

Из-за опасности злоупотреблений технологией Microsoft не стала публиковать код VALL-E для экспериментов, поэтому все желающие протестировать работу модели не смогут. В компании добавили, что аналогичным образом будут поступать и с другими проектами, если они несут потенциальную угрозу злоупотреблений.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме
Прежде чем оставить комментарий, пожалуйста, ознакомьтесь с правилами комментирования. Оставляя комментарий, вы подтверждаете ваше согласие с данными правилами и осознаете возможную ответственность за их нарушение.
Все комментарии премодерируются.
Комментарии загружаются...

window-new
Soft
Hard
Тренды 🔥
Apple выпустила четвёртые бета-версии iOS 18 и iPadOS 18 для разработчиков 12 мин.
Издатель Signalis и Bo: Path of the Teal Lotus уволил всех сотрудников и назвал это реструктуризацией — от Humble Games осталось одно название 18 мин.
В WhatsApp для Android и iOS появился аналог AirDrop для быстрой передачи файлов 46 мин.
Рост по всем направлениям: Alphabet выручила $85 млрд за второй квартал благодаря поиску и ИИ 2 ч.
Культовый потусторонний боевик спустя 13 лет появится на ПК — новый трейлер и дата выхода Shadows of the Damned: Hella Remastered 2 ч.
Илон Маск намерен потратить $5 млрд из средств Tesla на инвестиции в ИИ-стартап xAI 5 ч.
Вышла крупнейшая ИИ-модель Llama 3.1 от Meta — её самая большая версия имеет 405 млрд параметров 12 ч.
Исторический момент: МОК официально утвердил создание Олимпийских киберспортивных игр 13 ч.
«Я был вынужден купить это»: спустя 17 лет в Steam вышла та самая «Месть боксёра» 14 ч.
«Спортивная игра, каких сейчас не делают»: ветераны Electronic Arts анонсировали баскетбольную аркаду The Run: Got Next в духе NBA Street 16 ч.