Облачное подразделение компании «Яндекс» (Yandex Cloud) сообщило о разработке новой системы на базе машинного обучения, которая способна распознавать более 10 иностранных языков одновременно.

Источник изображений: «Яндекс»

В основе модели лежат сервис синтеза и распознавания Yandex SpeechKit и специализированная архитектура под названием Transformer. Алгоритмы обрабатывают входные слова параллельно и независимо друг от друга, благодаря чему быстро обучаются.

Система распознаёт речь на любую тему и в разных форматах: это могут быть короткие и длинные фразы, имена, адреса, даты и пр. Модель способна распознавать язык автоматически в одном потоке: нейросеть может в любой момент переключаться между различными языками. При этом есть возможность давать ей «подсказки» — это повышает качество распознавания.

Для обучения модели использовались огромные массивы данных (десятки терабайт) из профессиональных источников, а также из сервисов и приложений самого «Яндекса». Нейросеть-полиглот может работать и с популярными языками, такими как английский и французский, и с более редкими — датским, финским, турецким и другими.

Разработчики облачной платформы Yandex Cloud обновили построенный на основе машинного обучения сервис Yandex SpeechKit, предназначенный для синтеза и распознавания речи. Теперь при переводе голоса в текст сервис автоматически добавляет знаки препинания в нужных местах.

Источник изображения: Reuters

Новая функция называется «Пунктуатор». Она работает как при распознавании речи в режиме онлайн для сценариев с голосовыми помощниками, так и при обработке предзаписанных аудиофайлов. Новая функция основана на двух последовательно работающих моделях машинного обучения. Первая осуществляет перевод голоса в текст, а вторая расставляет знаки препинания в соответствии с нормами русского языка. В настоящее время упомянутая функция справляется с расстановкой основных знаков пунктуации русского языка. Взаимодействовать «Пунктуатором» могут все пользователи Yandex SpeechKit.

Разработчики уверены, что нововведение улучшит опыт пользователей в сценариях, предполагающих, что с речевыми технологиями напрямую взаимодействует человек. Прежде всего речь идёт о работе с голосовыми помощниками, автоматическом транскрибировании и формировании субтитров. Отмечается, то распознаваемый нейросетью текст максимально приближён к литературному.

«Мы развиваем сервисы Yandex Cloud, отвечая на запросы наших клиентов, а иногда и предвосхищая их. Многие наши заказчики сегодня используют Yandex SpeechKit для создания голосовых помощников с диалоговым интерфейсом. В таких проектах распознанный машинный текст важно сделать максимально приближённым к тому, как его написал бы реальный собеседник. «Пунктуатор» решает эту задачу просто», — отметил Василий Ершов, руководитель разработки Yandex SpeechKit.

На проходящей в эти дни ежегодной конференции Neural Information Processing Systems (NeurIPS), которая посвящена искусственному интеллекту и машинному обучению, компания Intel представила два проекта, которые связаны с распознаванием и транскрибированием разговорного языка. Проект The People’s Speech нацелен на решение задач «автоматического распознавания речи», тогда как проект Multilingual Spoken Words Corpus (MSWC) предназначен для «поиска ключевых слов».

Источник изображения: Intel

В рамках каждого из проектов были созданы наборы данных, содержащие значительный объём аудиоданных и входящие в число крупнейших коллекций в своём классе. Обе инициативы были запущены в 2018 году, чтобы определить и свести в единый набор данных 50 наиболее используемых языков мира, а затем найти применение этой информации. В рамках The People’s Speech и MSWC инженеры Intel сотрудничали с коллегами из Alibaba, Oracle, Google, Baidu и др.

В рамках проекта People’s Speech разработчики создали набор данных, включающий в себя десятки тысяч часов контролируемого разговорного аудио. В настоящее время это один из крупнейших в своём классе наборов данных на английском языке, лицензированный для академического и коммерческого использования и доступный для бесплатного скачивания.

В это же время MSWC — это набор аудиоречевых данных, содержащий более 300 тыс. ключевых слов на десятках языках и доступный для интеллектуальных устройств. Набор данных MSWC охватывает языки, на которых разговаривают более 5 млрд человек и способствует разработке голосовых приложений для широкой аудитории. Оба набора данных будут доступны разработчикам.

Соцсеть «ВКонтакте» объявила о запуске автоматических субтитров на русском языке. Функция работает на базе собственных технологий платформы, использующих машинное обучение для распознания текста. Об этом сообщила пресс-служба сервиса.

Источник: «ВКонтакте»

По словам разработчиков, технология в некоторых аспектах является уникальной. Она не только распознаёт текст, но и умеет расставлять заглавные буквы со знаками препинания. Субтитры распределяются по кадрам и появляются в момент произнесения речи. В ближайшее время разработчики планируют научить платформу разделять реплики спикеров.

В компании отметили, что для распознания текста видеролики проходят четыре стадии обработки. Для начала запись очищается от фонового шума, после чего распознаётся текст. Затем сервис распределяет пунктуацию с заглавными буквами, а в заключение распределяет текст по кадрам. Многоэтапность призвана позволить распознавать текст не только с профессиональных записей, но и любительских роликов.

Пока что функция доступна в экспериментальном формате в приложении и веб-версии соцсети. Первыми её смогут опробовать пользователи верифицированных сообществ и зрители самых популярных роликов, а до конца года новинка будет задействована в большинстве видеороликов на платформе.

Уже известно, что скоро мессенджер WhatsApp станет поддерживать сквозное шифрование не только самих переговоров в любой форме, но и аналогичную защиту сохранённых резервных копий чатов. Но если подобная функция скоро станет доступна всем, то ещё одну полезную возможность пока получат только бета-тестеры с iOS.

91mobiles.com

По данным портала WABetaInfo, помимо возможности шифрования копий чатов уже скоро владельцам iPhone будет обеспечена и возможность преобразовать в текст голосовые сообщения. Функция находится в разработке и, как ожидается, скоро станет доступна участникам программы бета-тестирования.

wabetainfo.com

Считается, что данные голосовой переписки не будут отправляться на серверы Facebook*. По имеющимся сведениям, преобразование будет осуществляться на уровне самих смартфонов. По данным портала, после того как сообщение транскрибировано первый раз, текст сохраняется в локальной базе WhatsApp, поэтому его не придётся преобразовать каждый раз.

wabetainfo.com

Новая функция дополнительно поможет Apple усовершенствовать технологию распознавания речи. Конечно, для её использования придётся предоставить доступ WhatsApp к «движку», распознающему голос — это может вызвать некоторую обеспокоенность у сторонников тотальной защиты персональных данных.

О доступности новой функциональности на Android будет объявлено позже.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Сбербанк совместно со своим дочерним коллекторским агентством «АктивБизнесКонсалт» (АБК) начал использовать в центрах обработки звонков специальную систему, позволяющую по голосу клиента определять его эмоции.

О проекте рассказывает РБК, ссылаясь на информацию, полученную от гендиректора АБК Дмитрия Теплицкого. Идея заключается в том, чтобы в режиме реального времени корректировать сценарий диалога с должником, основываясь на его эмоциональном состоянии.

Платформа, разработанная компанией VS Robotics (дочерняя структура АБК), интегрируется в программу, которой пользуются операторы call-центров. Далее система «на лету» анализирует голос должника и делает вывод о том, в каком состоянии тот находится. В частности, распознаются семь эмоций: радость, удивление, нейтральное состояние, страх, уныние, раздражение и злость.

«Система в режиме реального времени на основе распознанных эмоций подсказывает оператору, надо ли следовать пользовательскому сценарию заказчика, или предлагает использовать специальный ситуационный скрипт. Например, проявить больше эмпатии при разговоре с данным абонентом», — поясняет господин Теплицкий.

Таким образом, формируется своеобразный психологический портрет должника, что позволяет оптимизировать сценарий дальнейшей беседы с ним. За счёт этого повышаются шансы на положительный результат диалога.

Соцсеть «ВКонтакте» обновила функции сервиса аудиосообщений. Теперь пользователи могут записывать голосовые сообщения продолжительностью до часа и расшифровывать аудиозаписи продолжительностью до двух минут. Об этом написала пресс-служба социальной сети.

«ВКонтакте»

По словам компании, голосовые сообщения остаются самым популярным способом общения. С момента запуска функции расшифровки, количество пользователей сервиса увеличилось на 10 % и достигло 33 миллионов человек. Последнее обновление позволяет расшифровывать до 99 % отправляемых аудиосообщений.

«Технология распознавания аудио помогает любителям и ненавистникам голосовых сообщений общаться друг с другом в удобном формате, а ещё экономит время — прочитать расшифровку можно быстрее, чем прослушать аудио. Мы продолжим развивать технологию, увеличивать скорость её работы и улучшать качество распознавания», — заявил старший разработчик команды Core Infrastructure «ВКонтакте» Сергей Ларионенко.

«ВКонтакте» запустила сервис распознавания голосовых сообщений в июне. На старте функция могла расшифровывать аудио продолжительностью до 30 секунд. Тогда сервисом ежемесячно пользовались около 30 миллионов человек.

В соцсети «ВКонтакте» появилась функция распознавания текста аудиосообщений. Об этом сообщается в пресс-службе компании. Пока что функция доступна только части пользователей мобильного приложения, но в ближайшую неделю ею смогут воспользоваться все желающие.

Распознаванием речи занимается нейросеть, разработанная сотрудниками «ВКонтакте». По словам разработчиков, она распознаёт сленг и учитывает сложные условия записи. В текст можно будет переработать как отправленные, так и полученные сообщения длительностью до 30 секунд. Кроме этого, нейросеть позволит искать голосовые сообщения по указанному тексту. В будущем функцию планируют добавить в декстопную версию соцсети.

«Расшифровка аудиосообщений значительно отличается от распознавания речи в голосовых помощниках. С другом в чате общаются совсем не так, как с умной колонкой: сообщения записываются на бегу с посторонними шумами, большим количеством сленга и сокращений. Поэтому мы сделали три нейросети: одна отвечает за распознавание, вторая находит подходящие слова, а третья расставляет знаки препинания. Вместе они станут самым высоконагруженным сервисом по распознаванию речи на русском языке», — директор по исследованиям в области искуственного интеллекта «ВКонтакте» Павел Кайдин.

Компания сообщила о планах добавить распознавание голосовых сообщений ещё в марте. Соцсеть объяснила необходимость тем, что голосовые сообщения являются очень популярным форматом общения — ежемесячно ими обмениваются около 30 миллионов пользователей.

На этой неделе создатель веб-браузера Firefox компания Mozilla сообщила о совместном проекте с немецким аэрокосмическим центром Deutsches Zentrum für Luft - und Raumfahrt (DLR), в рамках которого технология распознавания речи Mozilla DeepSpeech будет интегрирована в лунную робототехнику.

Роботы часто используются в космических программах для помощи астронавтам, работающим с задачами по техническому обслуживанию, ремонту, фотографическому освещению, а также для помощи в проводимых экспериментах и сборе различных образцов. В основном, конечно, автоматические аппараты используются для добычи ископаемых на поверхности Луны, но их потенциал гораздо больше.

Задача, с которой астронавты могут столкнуться в космосе, заключается в эффективном управлении роботами и в то же время в решении задач, требующих свободных рук. По словам компании Mozilla, программы автоматического распознавания речи Deep Speech (ASR) и преобразования речи в текст обеспечивают «астронавтам голосовое управление роботами, когда их руки заняты».

Инженеры немецкого агентства DLR сейчас упорно работают над интеграцией Deep Speech в собственные системы. Они также намерены внести свой вклад в проект Mozilla при помощи проведения тестов и предоставления примеров записей речи, которые могли бы улучшить точность работы программы.

Пока неизвестно, какие лунные аппараты получат обновление с распознаванием речи в текст, но DLR отвечает за разработку таких проектов, как «Rollin' Justin» — двурукого мобильного юнита, созданного для проверки возможности совместной работы астронавта и робота в сложных условиях.

В последнее время возможность создавать субтитры и переводить их на лету стала популярной в нескольких приложениях Google, а теперь она была добавлена в Google Переводчик. Пользователи могут включить автоматический перевод речи с одного языка на другой по своему выбору в режиме реального времени.

Это может быть отличной возможностью при поездках за границу или при общении с людьми из другой страны. В настоящее время функция доступна на 8 языках, в число которых помимо русского входит также английский, французский, немецкий, хинди, португальский, испанский и тайский.

В последней версии Переводчика пользователь может нажать кнопку Transcribe («Расшифровать») и выбрать два языка, между которыми он хочет осуществлять перевод. Распознавание и перевод на лету начнутся после нажатия кнопки микрофона, расположенной ниже, с помощью той же кнопки можно приостановить процесс.

Пользователи также могут включить стенограмму на языке оригинала, изменить размер текста или выбрать тёмную тему в меню настроек. Чтобы использовать эту функцию, следует установить последнюю версию Google Переводчика из цифрового магазина Play для Android. Впрочем, функциональность, как обычно, разворачивается постепенно и в ближайшие дни будет доступна всем. Поддержка устройств iOS пока отсутствует, но наверняка появится в ближайшее время.

Пресс-служба «ВКонтакте» сообщила о том, что в социальной сети началось тестирование технологии распознавания голосовых сообщений. Для того чтобы увидеть содержание голосового сообщения, пользователям будет достаточно нажать на соответствующую кнопку, после чего на экран будет выведен расшифрованный текст.

В настоящее время воспользоваться технологией распознавания речи могут только участники программы тестирования VK Testers. Функция распознавания речи работает на iOS, опираясь на стороннюю технологию. В дальнейшем планируется интегрировать собственную разработку социальной сети, на основе которой функция распознавания речи станет доступна широкому кругу пользователей. Технология представляет собой нейросетевое решение, способное обучаться русскому сленгу, а также может масштабироваться и настраиваться. В будущем данная технология может стать основой функции поиска по сообщениям, в том числе голосовым.

«Ежемесячно 30 миллионов человек обмениваются голосовыми сообщениями ВКонтакте. Для такого высоконагруженного сервиса требовалось решение, способное обрабатывать огромное количество входящей информации без потери качества. Поэтому мы создали его сами. Ещё одним серьёзным вызовом стал разговорный язык. Записывая голосовые сообщения, люди редко выражаются как персонажи классической русской литературы — напротив, они используют много сленга и заимствованной лексики. Готовые решения на наших тестах плохо справлялись с распознаванием таких слов, но мы учли специфику современного русского языка при разработке собственной технологии», — сказал директор по исследованиям в области искусственного интеллекта ВКонтакте Павел Калайдин.

Система DeepSpeech, которая представляет собой набор средств распознавания речи и поддерживается группой разработчиков из Mozilla, получила обновление. Новая версия DeepSpeech v0.6 является одной из самых быстрых моделей распознавания речи с открытым исходным кодом среди представленных к сегодняшнему дню. О том, какие улучшения получила система, один из разработчиков компании Mozilla Рубен Морайс (Ruben Morais) рассказал в своём блоге.

В последней версии DeepSpeech была интегрирована поддержка TensorFlow Lite, версии системы машинного обучения компании Google, оптимизированной для работы на мобильных устройствах с ограниченными вычислительными возможностями. В результате размер DeepSpeech уменьшился с 98 Мбайт до 3,7 Мбайт, а размер готовой встроенной модели на английском языке снизился со 188 Мбайт до 47 Мбайт. Также отмечается, что потребление памяти сократилось в 22 раза, а скорость запуска процесса обработки данных выросла более чем в 500 раз.

Ещё система DeepSpeech v0.6 в целом стала значительно более производительной благодаря использованию нового потокового декодера, который обеспечивает постоянно низкий уровень задержек и использования памяти независимо от длины транскрибируемого звука. Обе основные подсистемы платформы (акустическая модель и декодер) теперь поддерживают потоковую передачу, благодаря чему разработчикам не потребуется осуществлять тонкую настройку собственного оборудования. Обновлённая версия DeepSpeech способна обеспечить транскрипцию уже через 260 мс после окончания аудио, что на 73 % быстрее в сравнении с показателями системы до интеграции потокового декодера.

Стоит отметить, что в плане производительности новая система работает в два раза быстрее, когда дело доходит до обучения модели. Добиться этого удалось благодаря использованию системы TensorFlow 1.14 и интеграции новых API.

Для обучения модели используется набор голосовых данных Common Voice, состоящий из 1400 часов речи на 18 разных языках. Разработчики отмечают, что это один из самых крупных многоязычных наборов голосовых данных. Он значительно больше набора Common Voice, опубликованного в прошлом и состоящего из 500 часов речи с примерами произношения 20 000 добровольцев (все записи на английском языке). В настоящее время компания ведёт активную работу по сбору данных на 70 языках, чтобы в будущем сделать DeepSpeech ещё более совершенной.

Компания продюсера Тимура Бекмамбетова Screenlife Technologies совместно со «Стафори», разработчиком сервиса «Робот Вера» на основе искусственного интеллекта, создали совместное предприятие для развития проекта Vera Voice, — сообщает РБК. Целью является синтез голоса русских знаменитостей с помощью обучения нейросети.

Технологии синтеза речи знаменитостей достаточно широко применяются. Открытый алгоритм WaveNet ещё в 2016 году представила принадлежащая Google компания DeepMind. Именно благодаря этой технологии голосовой помощник Google Assistant научился в этом году общаться голосом известных людей, первым из которых стал американский певец и актёр Джон Ледженд (John Legend). «WaveNet позволила нам сократить время записи в студии — модель действительно может передать богатство голоса актёра», — сказал исполнительный директор Google Сундар Пичаи (Sundar Pichai).

Тимур Бекмамбетов (Фото: Евгений Биятов / РИА Новости)

В сентябре Amazon объявила, что её умная колонка с помощником Alexa тоже сможет разговаривать голосами знаменитостей. Первым стал актёр Самуэль Ли Джексон (Samuel Leroy Jackson). А немногим раньше, в июле 2019 года, Facebook* представила синтезатор речи и продемонстрировала его работу на примере голоса Билла Гейтса (Bill Gates).

В России учреждённая Сбербанком компания АБК в январе представила короткий ролик с синтезированным голосом актера Иннокентия Смоктуновского. Прослушав около 18 часов записей артиста с сопроводительной транскрипцией, нейронная сеть научилась говорить его голосом. Сбербанк представил технологию на Российском инвестиционном форуме в Сочи. Заместитель председателя правления банка Станислав Кузнецов выразил опасения, что подобные проекты могут использоваться и с незаконными целями.

По оценке консалтинговой компании Markets&Markets, к 2023 году рынок клонирования голоса достигнет $1,73 млрд.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Компания «Яндекс» объявила о запуске новых функций для своего почтового приложения, которые станут доступна всем пользователям устройств, работающих на базе iOS. Функция голосового ввода текста сообщений с сегодняшнего дня может использоваться обладателями продукции Apple. Это означает, что пользователи смогут набирать текст сообщений не вручную, а просто произнося предложения. Приложение осуществляет распознавание речи и переводит её в текст, после чего лишь остаётся указать адресата и отправить послание.

Функция окажется полезной во многих ситуациях, когда заняты руки или неудобно осуществлять ввод текста по каким-то другим причинам. Кроме того, при необходимости к сообщению может быть прикреплена запись голоса, на случай, если в процессе распознавания речи были допущены ошибки. Ещё «Яндекс.Почта» для iOS получает функцию озвучивания входящих сообщений, которая позволяет приложению читать вслух тему и текст письма.

Реализация новых возможностей стала возможна благодаря комплексу Yandex SpeechKit, который объединил в себе технологии распознавания, семантического анализа, синтеза речи и голосовой активации. Комплекс технологий Yandex SpeechKit помимо почтового приложения используется в других сервисах компании, в том числе в поисковике, браузере, картографическом сервисе, навигаторе и др. Кроме того, он может использоваться сторонними компаниями для решения собственных задач.

На данный момент новые функции доступны только части пользователей приложения «Яндекс.Почта» для iOS. Массовое распространение функций займёт некоторое время. Ожидается, что в течение двух недель голосовой набор и озвучивание текста станут доступны всем пользователям приложения.

Сетевые источники сообщают о том, что Google добавила автоматизированную функцию преобразования текста в речь в приложении «Телефон» на устройствах Pixel. За счёт этого пользователи смогут буквально в одно касание передать информацию о своём местонахождении медицинским, пожарным или полицейским службам без необходимости использования речи.

Новая функция имеет достаточно простой принцип действия. В момент совершения экстренного вызова приложение «Телефон» выводит на экран три дополнительные иконки с надписями «Медицина», «Пожар» и «Полиция». После нажатия на нужную кнопку активируется функция преобразования текста в речь. Это сообщение, а также данные о том, что абонент использует автоматическую службу, будут зачитаны оператору соответствующей службы. В сообщении будет указано, какой вид помощи требуется абоненту, а также где он находится.

В компании говорят о том, что новая функция предназначена для людей, нуждающихся в экстренной помощи, но не способных общаться с оператором устно. Такая ситуация может возникнуть из-за полученных травм, какой-либо опасности или нарушения речи.