Сотрудничество Spotify с OpenAI позволит подкастерам синтезировать собственный голос для автоматического создания версий своих шоу на иностранных языках. Это основная идея новой функции голосового перевода Spotify на базе ИИ, которая воспроизводит подкасты на других языках, используя синтезированный голос создателя. Теперь подкастеру достаточно просто «щёлкнуть выключателем» и мгновенно заговорить на другом языке.

Источник изображения: unsplash.com

Компания уже заключила договоры с несколькими подкастерами о переводе созданных ими англоязычных эпизодов на испанский с помощью своего нового инструмента, и планирует в ближайшие недели выпустить переводы на французский и немецкий языки. Первыми будут переведены эпизоды подкастеров с такими громкими именами, как Дакс Шепард (Dax Shepard), Моника Пэдман (Monica Padman), Лекс Фридман (Lex Fridman), Билл Симмонс (Bill Simmons) и Стивен Бартлетт (Steven Bartlett). В дальнейшем Spotify планирует расширить эту группу, включив в неё The Rewatchables и предстоящее шоу Тревора Ноа (Trevor Noah).

Основой функции перевода является ИИ-инструмент синтезирования голоса OpenAI Whisper, который умеет как транскрибировать английскую речь, так и переводить на английский с других языков. Но инструмент Spotify выходит за рамки простого перевода речи в текст — эта функция переведёт подкаст на другой язык и воспроизведёт его в синтезированной версии голосом подкастера.

«Сопоставляя собственный голос создателя, Voice Translation даёт слушателям по всему миру возможность открывать для себя новых подкастеров и вдохновляться ими более аутентично, чем когда-либо прежде», — уверен Зиад Султан (Ziad Sultan), вице-президент Spotify по персонализации.

OpenAI сегодня утром объявила о запуске инструмента, который может создавать «человеческий звук из просто текста и нескольких секунд образца речи». Доступность нового инструмента будет существенно ограничена из-за опасений по поводу безопасности и конфиденциальности. Вероятно, это одна из причин, почему технология перевода Spotify пока тестируется только с «избранной группой» подкастеров, а компания не делает прогнозов о массовом внедрении новой функции.

Google тестирует новый способ поиска песен на YouTube — просто напевая их голосом. Этот инновационный шаг, уже доступный ограниченному числу пользователей Android, может кардинально изменить то, как мы находим музыкальные композиции в интернете.

Источник изображения: SAM-RIZ44 / Pixabay

В мире смартфонов поиск песни по звуку используется уже давно. Сервисы вроде Google Assistant и SoundHound позволяют добавлять треки в плейлист Spotify или воспроизводить клипы на YouTube. Однако новый способ поиска песни кажется более удобным, если вы не помните её название или другие детали.

Google объявила о том, что экспериментирует с поиском песен на YouTube по напеву голосом. Кроме этого, пользователи могут использовать функцию определения песни, записав её фрагмент, который играет фоном, например, в кафе или на радио.

Для активации функции необходимо переключиться из голосового поиска YouTube на поиск песен. После этого пользователь должен напеть или записать фрагмент песни в течение минимум 3 секунд. Затем система перенаправит его к соответствующему контенту на YouTube — официальному клипу, пользовательскому видео или короткому ролику Shorts.

На этапе тестирования новый поиск доступен только ограниченному числу пользователей YouTube на Android. Перед тем, как он окажется в широком доступе, его характеристики могут измениться. Многие надеются, что компания добавит его и в YouTube Music.

Кроме этого, Google тестирует ещё одну функцию для YouTube — «Полка канала» (Channel Shelf) в ленте подписок. Она позволит объединять несколько свежих публикаций одного автора на одной «полке». Таким образом, подписчикам не придётся переходить на YouTube-канал, чтобы увидеть недавние публикации. Google утверждает, что это нововведение снизит давление на авторов контента в плане частоты его публикаций.

Инженеры Meta✴ рассказали о нейросетевой модели Voicebox, которая обладает широкими возможностями по работе с устной речью: генерация, редактирование или стилизация по образцу. Авторы проекта охарактеризовали её как прорыв в моделях речевого ИИ.

Источник изображения: Meta✴

Voicebox озвучивает заданный текст с высоким качеством или производит обработку уже готовой записи голоса, например, удаляет из него посторонние звуки вроде автомобильных гудков и собачьего лая, сохраняя содержание и стилистику речи. При необходимости можно даже «переиграть» фрагмент записи, точечно исправив, например, неправильно произнесённое слово. Поддерживаются шесть языков: английский, французский, немецкий, испанский, польский и португальский. Voicebox может использоваться в качестве синхронного переводчика, передавая голос и манеру речи собеседника.

Модель была обучена на 50 часах аудиокниг, и этого ей хватило, чтобы овладеть навыками устной речи в полной мере: она составляет профиль голоса и манеры речи на основе образца продолжительностью всего две секунды, после чего может воспроизвести её с любым текстом. На практике эти возможности могут оказаться полезными в приложениях метавселенной, обеспечив естественное звучание голосов для виртуальных помощников и неигровых персонажей; или для слабовидящих людей — модель может озвучивать письма голосами их авторов.

Meta✴ часто делает свои ИИ-модели общедоступными, но не на сей раз. В компании не раскрыли, на каких материалах производилось обучение Voicebox, и не предложили испытать технологию на практике — опасаются злоупотреблений.

Стало известно, что американская компания Microsoft через свой головной офис, находящийся в Вашингтоне, подала в Роспатент заявку на регистрацию товарного знака Dragon. В материалах Роспатента указано, что товарный знак связан с технологиями распознавания речи.

Источник изображения: Pixabay

Согласно имеющимся данным, заявка Microsoft была подана 31 января. Софтверный гигант намерен зарегистрировать знак по двум классам по международной классификации товаров и услуг. В первом случае речь идёт о компьютерном программном обеспечении для использования в приложениях и системах распознавания речи, во втором — о ПО для обработки речи. Кроме того, Microsoft сможет использовать товарный знак для предоставления онлайн незагружаемого ПО для использования в приложениях и системах распознавания речи и диктовке, для оказания консультаций в сфере автоматизированной обработки транскрипций и в области систем распознавания речи.

Напомним, в 2021 году Microsoft купила компанию Nuance Communications за $19,7 млрд. В арсенале разработчиков имеется технология распознавания речи Dragon, которую Microsoft намерена интегрировать в свои продукты, например, в текстовый редактор Word. Отметим также, что в прошлом году Microsoft объявила о постепенном сворачивании деятельности в России и сокращении своего присутствия до минимума или даже полного ухода с рынка.

Microsoft представила модель искусственного интеллекта (ИИ) под названием VALL-E — она преобразует текст в речь, точно имитируя голос человека, а образцом может служить запись продолжительностью всего в три секунды. При этом ИИ сохраняет эмоциональную окраску речи образца.

Источник изображения: Maxime VALCARCE / unsplash.com

Авторы проекта говорят, что система окажется полезной при разработке приложений с возможностью высококачественного преобразования текста в речь и при создании аудиоконтента в сочетании с другими ИИ-генераторами контента вроде GPT-3. Хотя они также признают, что её можно использовать для редактирования аудиозаписи по расшифровке — модель может «заставить» человека произносить слова, которых он никогда в реальности не говорил.

При создании модели использовалась разработанная Meta✴ технология EnCodec, которая обеспечивает эффективное сжатие аудиосигнала. В отличие от традиционных методов преобразования текста в речь, VALL-E не конструирует звуковые волны, а анализирует особенности речи человека, разбивает эти данные на отдельные компоненты (так называемые «токены») и генерирует запись на основе того, что уже «знает» об образце — моделирует голос, как он бы мог звучать за пределами трёхсекундного образца. Обучение модели производилось на библиотеке LibriLight, собранной Meta✴ — она же, в свою очередь, была построена на 60 000 часов англоязычной речи более чем 7000 носителей: данные были позаимствованы преимущественно из коллекции LibriVox.

Источник изображения: valle-demo.github.io

В представленных на сайте проекта образцах колонка «Speaker Prompt» содержит образцы речи; в колонке «Ground Truth» представлена запись необходимого текста в исполнении человека, с которого был записан образец; «Baseline» — образец работы традиционных преобразователей текста в речь, а «VALL-E» — работа новой ИИ-модели. Нейросеть также может предложить несколько вариантов необходимого текста с голосом на образце. Создатели системы добавили, что она не только придаёт голосу на генерируемой записи нужный эмоциональный окрас, но и имитирует «акустическое окружение» образца — если исходная запись была сделана с телефонного разговора, то и результат будет напоминать разговор по телефону.

Из-за опасности злоупотреблений технологией Microsoft не стала публиковать код VALL-E для экспериментов, поэтому все желающие протестировать работу модели не смогут. В компании добавили, что аналогичным образом будут поступать и с другими проектами, если они несут потенциальную угрозу злоупотреблений.

Хотя управлять устройствами с помощью голосовых команд довольно удобно, громкие отчётливые фразы могут беспокоить окружающих. Система EarCommand, разработанная учёными из университета штата Нью-Йорк, позволяет «считывать» команды, проговариваемые пользователем про себя, причём для этого не потребуется считывать мозговую активность.

Источник изображения: Caley Vanular/unsplash.com

В норме голосовые команды могут быть услышаны другими, их распознаванию гаджетами может помешать окружающий шум, кроме того, устройствам может быть сложно отличать один голос от другого, что приведёт к ошибкам в работе.

Технология EarCommand, разрабатываемая командой исследователей из Университета штата Нью-Йорк в Буффало, основана на том, что даже проговаривание каких-либо слов про себя сопровождается активностью мышц и некоторым смещением костей, в результате чего по-разному деформируется ушной канал. Другими словами, разные «шаблоны» деформаций характерны для определённых слов.

Аппаратная составляющая EarCommand включает похожее на наушник устройство, транслирующее близкие к ультразвуку сигналы в ушной канал. Отражающиеся от внутренней поверхности канала сигналы принимаются внутренним микрофоном наушника, а связанный с устройством компьютер анализирует эти эхо, используя специальный алгоритм для того, чтобы оценить деформацию канала и определить, какое слово произнесено.

В проводимых экспериментах пользователи проговаривали 32 команды длиной в одно слово и 25 команд, состоящих из целых предложений. На уровне слов доля ошибок составила 10,2 %, а на уровне предложений — 12,3 %. Ожидается, что по мере развития технологии уровень ошибок будет снижаться. Кроме того, аппаратура работает даже тогда, когда пользователь носит маску или находится в шумном окружении и, в отличие от некоторых систем, считывающих произносимые про себя слова, для использования технологии не требуется камера.

Примечательно, что похожая технология EarHealth тестируется коллегами из того же университета в медицинских целях — аналогичные сигналы и считывание эха от них используются для выявления проблем со слухом, например — диагностики повреждённых барабанных перепонок или отита, который является весьма распространённым заболеванием.

Облачное подразделение компании «Яндекс» (Yandex Cloud) сообщило о разработке новой системы на базе машинного обучения, которая способна распознавать более 10 иностранных языков одновременно.

Источник изображений: «Яндекс»

В основе модели лежат сервис синтеза и распознавания Yandex SpeechKit и специализированная архитектура под названием Transformer. Алгоритмы обрабатывают входные слова параллельно и независимо друг от друга, благодаря чему быстро обучаются.

Система распознаёт речь на любую тему и в разных форматах: это могут быть короткие и длинные фразы, имена, адреса, даты и пр. Модель способна распознавать язык автоматически в одном потоке: нейросеть может в любой момент переключаться между различными языками. При этом есть возможность давать ей «подсказки» — это повышает качество распознавания.

Для обучения модели использовались огромные массивы данных (десятки терабайт) из профессиональных источников, а также из сервисов и приложений самого «Яндекса». Нейросеть-полиглот может работать и с популярными языками, такими как английский и французский, и с более редкими — датским, финским, турецким и другими.