Сегодня 28 марта 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Microsoft представила VALL-E — ИИ-модель, которая имитирует голос по маленькому образцу

Microsoft представила модель искусственного интеллекта (ИИ) под названием VALL-E — она преобразует текст в речь, точно имитируя голос человека, а образцом может служить запись продолжительностью всего в три секунды. При этом ИИ сохраняет эмоциональную окраску речи образца.

 Источник изображения: Maxime VALCARCE / unsplash.com

Источник изображения: Maxime VALCARCE / unsplash.com

Авторы проекта говорят, что система окажется полезной при разработке приложений с возможностью высококачественного преобразования текста в речь и при создании аудиоконтента в сочетании с другими ИИ-генераторами контента вроде GPT-3. Хотя они также признают, что её можно использовать для редактирования аудиозаписи по расшифровке — модель может «заставить» человека произносить слова, которых он никогда в реальности не говорил.

При создании модели использовалась разработанная Meta технология EnCodec, которая обеспечивает эффективное сжатие аудиосигнала. В отличие от традиционных методов преобразования текста в речь, VALL-E не конструирует звуковые волны, а анализирует особенности речи человека, разбивает эти данные на отдельные компоненты (так называемые «токены») и генерирует запись на основе того, что уже «знает» об образце — моделирует голос, как он бы мог звучать за пределами трёхсекундного образца. Обучение модели производилось на библиотеке LibriLight, собранной Meta — она же, в свою очередь, была построена на 60 000 часов англоязычной речи более чем 7000 носителей: данные были позаимствованы преимущественно из коллекции LibriVox.

 Источник изображения: valle-demo.github.io

Источник изображения: valle-demo.github.io

В представленных на сайте проекта образцах колонка «Speaker Prompt» содержит образцы речи; в колонке «Ground Truth» представлена запись необходимого текста в исполнении человека, с которого был записан образец; «Baseline» — образец работы традиционных преобразователей текста в речь, а «VALL-E» — работа новой ИИ-модели. Нейросеть также может предложить несколько вариантов необходимого текста с голосом на образце. Создатели системы добавили, что она не только придаёт голосу на генерируемой записи нужный эмоциональный окрас, но и имитирует «акустическое окружение» образца — если исходная запись была сделана с телефонного разговора, то и результат будет напоминать разговор по телефону.

Из-за опасности злоупотреблений технологией Microsoft не стала публиковать код VALL-E для экспериментов, поэтому все желающие протестировать работу модели не смогут. В компании добавили, что аналогичным образом будут поступать и с другими проектами, если они несут потенциальную угрозу злоупотреблений.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Amazon.com инвестирует в ИИ-стартап Anthropic дополнительно $2,75 млрд 11 ч.
Хакеры нашли, как завалить iPhone запросами о сбросе пароля, и стали пользоваться этим для фишинга 11 ч.
Новый бенчмарк — новый рекорд: NVIDIA подтвердила лидерские позиции в MLPerf Inference 12 ч.
Sony подтвердила линейку игр PS Plus на апрель — магический шутер, экшен-стратегия в мире Minecraft и роглайк в стиле Dead Cells 12 ч.
В Великобритании собрались подвести законодательную базу под мемы про криптовалюты 12 ч.
Google представила новые ИИ-функции в картах и поиске — они помогут путешественникам 12 ч.
Lesta Games выразила готовность выпустить «Мир танков» и «Мир кораблей» на российской консоли и помочь с её разработкой 13 ч.
Новая студия бывшего режиссёра Dragon Age показала тизер первой игры перед скорым анонсом — это фэнтезийный ролевой боевик на Unreal Engine 5 14 ч.
Учёные придумали, как с помощью ИИ улучшить вкус пива, особенно безалкогольного 15 ч.
Overwatch с супергероями: анонсирован командный шутер Marvel Rivals от бывших разработчиков Call of Duty и Battlefield 15 ч.