Сегодня 22 октября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Microsoft представила VALL-E — ИИ-модель, которая имитирует голос по маленькому образцу

Microsoft представила модель искусственного интеллекта (ИИ) под названием VALL-E — она преобразует текст в речь, точно имитируя голос человека, а образцом может служить запись продолжительностью всего в три секунды. При этом ИИ сохраняет эмоциональную окраску речи образца.

 Источник изображения: Maxime VALCARCE / unsplash.com

Источник изображения: Maxime VALCARCE / unsplash.com

Авторы проекта говорят, что система окажется полезной при разработке приложений с возможностью высококачественного преобразования текста в речь и при создании аудиоконтента в сочетании с другими ИИ-генераторами контента вроде GPT-3. Хотя они также признают, что её можно использовать для редактирования аудиозаписи по расшифровке — модель может «заставить» человека произносить слова, которых он никогда в реальности не говорил.

При создании модели использовалась разработанная Meta технология EnCodec, которая обеспечивает эффективное сжатие аудиосигнала. В отличие от традиционных методов преобразования текста в речь, VALL-E не конструирует звуковые волны, а анализирует особенности речи человека, разбивает эти данные на отдельные компоненты (так называемые «токены») и генерирует запись на основе того, что уже «знает» об образце — моделирует голос, как он бы мог звучать за пределами трёхсекундного образца. Обучение модели производилось на библиотеке LibriLight, собранной Meta — она же, в свою очередь, была построена на 60 000 часов англоязычной речи более чем 7000 носителей: данные были позаимствованы преимущественно из коллекции LibriVox.

 Источник изображения: valle-demo.github.io

Источник изображения: valle-demo.github.io

В представленных на сайте проекта образцах колонка «Speaker Prompt» содержит образцы речи; в колонке «Ground Truth» представлена запись необходимого текста в исполнении человека, с которого был записан образец; «Baseline» — образец работы традиционных преобразователей текста в речь, а «VALL-E» — работа новой ИИ-модели. Нейросеть также может предложить несколько вариантов необходимого текста с голосом на образце. Создатели системы добавили, что она не только придаёт голосу на генерируемой записи нужный эмоциональный окрас, но и имитирует «акустическое окружение» образца — если исходная запись была сделана с телефонного разговора, то и результат будет напоминать разговор по телефону.

Из-за опасности злоупотреблений технологией Microsoft не стала публиковать код VALL-E для экспериментов, поэтому все желающие протестировать работу модели не смогут. В компании добавили, что аналогичным образом будут поступать и с другими проектами, если они несут потенциальную угрозу злоупотреблений.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
ByteDance с треском уволила старжёра за внедрение вредоносного кода в ИИ-модели 39 мин.
Состоялся релиз российской платформы «Аксиома 3.0» для управления материальными активами предприятия 4 ч.
Для Vampire Survivors анонсировали «просто огромное» дополнение по мотивам «Кастлвании» — трейлер и подробности Ode to Castlevania 5 ч.
Календарь релизов 21 – 27 октября: CoD: Black Ops 6, No More Room in Hell 2 и Factorio: Space Age 6 ч.
Проверенный инсайдер сообщил, когда выйдут первые обзоры Dragon Age: The Veilguard 6 ч.
Нелинейная ролевая игра Dawnwalker от ведущих разработчиков The Witcher 3: Wild Hunt и Cyberpunk 2077 нашла издателя 7 ч.
«Не первый, но лучший»: Тим Кук объяснил отставание Apple в области ИИ и других инноваций 8 ч.
Midjourney запустит ИИ-редактор изображений 8 ч.
Анджей Сапковский подтвердил дату выхода следующей книги «Ведьмак» — первой за 11 лет 11 ч.
Надёжный инсайдер раскрыл, как будет называться новая кооперативная игра от создателей It Takes Two и когда её анонсируют 12 ч.
Super Flower представила серию блоков питания Zillion FG мощностью до 1250 Вт 60 мин.
Qualcomm представила самый быстрый мобильный процессор — 3-нм Snapdragon 8 Elite с компьютерными ядрами Oryon 2 ч.
Новая статья: Обзор складного смартфона HONOR Magic V3: тоньше некуда 2 ч.
Zotac опровергла информацию о начале производства видеокарты GeForce RTX 5090 3 ч.
Asus представила карту расширения ThunderboltEX 5 — она превращает PCIe 4.0 x4 в два Thunderbolt 5 и три mini-DP 3 ч.
Hyundai задумала полностью отказаться от экранов в автомобилях в пользу голограмм 4 ч.
Японская Ubitus, обслуживающая Nintendo и Sega, тоже захотела запитать новый ИИ ЦОД от АЭС 4 ч.
Qualcomm вот-вот представит Snapdragon 8 Elite — 3-нм процессор с ядрами Oryon и частотой до 4,3 ГГц 5 ч.
Анонсирован панорамный корпус DeepCool CG580 с поддержкой плат с разъёмами на изнанке от Asus и MSI 6 ч.
Ryzen 7 9800X3D заставили работать на частоте 5,6 ГГц у всех восьми ядер одновременно 6 ч.