Сегодня 07 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Apple разработала ИИ, выявляющий нетипичные аспекты устной речи — это поможет диагностировать заболевания

В рамках проекта, посвящённого голосовым и речевым моделям искусственного интеллекта, Apple опубликовала материалы (PDF) нового исследования, касающегося одной из сложных проблем машинного обучения: распознавание не только того, что было сказано человеком, но и того, как это было сказано.

 Источник изображения: Slavcho Malezan / unsplash.com

Источник изображения: Slavcho Malezan / unsplash.com

В статье исследователи описывают схему анализа речи с использованием параметров качества голоса (Voice Quality Dimensions — VQD). Эти параметры указывают на разборчивость, резкость, монотонность речи, придыхание и другие аспекты. На них обращают внимание и логопеды, когда оценивают звучание голоса и влияние на него неврологических состояний и заболеваний. Apple работает над моделями ИИ, также способными их обнаруживать.

Большинство речевых моделей обучается на здоровых и типичных для большинства голосах. Если голос человека звучит иначе, ИИ может дать сбой, и это большой недостаток системы, если ей пытается воспользоваться человек с ограниченными возможностями. В работе над этой проблемой исследователи Apple обучили несколько дополнительных моделей ИИ, предназначенных для работы совместно с основными речевыми системами, на большом общедоступном наборе данных аннотированной нетипичной речи, в том числе на голосах людей с болезнью Паркинсона, боковым амиотрофическим склерозом (БАС) и детским церебральным параличом (ДЦП).

На этом инженеры компании не остановились — они не стали использовать эти модели для прямой расшифровки сказанного, а составили методику измерения того, как звучит голос, на основе семи основных критериев:

  • разборчивость — насколько легко понимается речь;
  • нечёткие согласные — насколько внятно артикулируются согласные звуки;
  • резкость голоса — грубая, напряжённая или хриплая характеристика голоса;
  • естественность — насколько плавно или типично звучит речь для слушателя;
  • равномерность громкости — отсутствие перепадов в громкости речи;
  • монотонность — отсутствие перепадов высоты тона, приводящее к ровной или «роботизированной» интонации;
  • придыхание — присутствие шума воздуха или шёпота в голосе, часто возникающее из-за неполного закрытия голосовых связок.
 Источник изображения: Iluha Zavaley / unsplash.com

Источник изображения: Iluha Zavaley / unsplash.com

Таким образом, ИИ научился «слушать как врач», а не просто регистрировать то, что говорят. Для извлечения звуковых характеристик Apple использовала пять моделей ИИ и обучила дополнительные легковесные алгоритмы, чтобы на основе этих характеристик предсказывать параметры качества голоса. Разработанные компанией дополнительные алгоритмы показали высокие результаты по большинству параметров, хотя качество срабатывания варьировалось в зависимости от конкретного признака и всей задачи. Важнейшим достоинством исследования стало то, что ответы моделей оказались объяснимыми — в отрасли ИИ это встречается нечасто. Вместо того, чтобы показывать условную оценку достоверности (confidence score), система указывает на конкретные характеристики голоса, что упрощает классификацию. Это поможет в клинической оценке и диагностике.

Но и на клинической речи в Apple не остановились. Исследователи протестировали свои модели на образцах эмоциональной речи из набора данных RAVDESS: модели VQD не обучались на эмоциональных записях, но также давали прогнозы. Так, в сердитой речи отмечалась низкая «равномерность громкости», а грустные голоса воспринимались как монотонные. Возможно, это поможет улучшить и голосового помощника Apple Siri, который сможет корректировать свои интонации и речь в зависимости от того, как интерпретирует настроение и состояние пользователя, а не только сказанное им.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Mundfish выпустит эвакуационный шутер The Cube во вселенной Atomic Heart 4 ч.
Capcom представила Resident Evil Requiem, которая станет «началом новой эры хорроров на выживание» — первый трейлер и дата выхода 4 ч.
«Выведет жанр на новый уровень»: Mundfish анонсировала Atomic Heart 2 6 ч.
Новая статья: Elden Ring Nightreign — вместе весело страдать. Рецензия 7 ч.
Windows 11 будет автоматически замедлять процессор, когда компьютер не используется 11 ч.
На Samsung Galaxy Watch появилось приложение «Яндекс Музыка» 11 ч.
Ремейк Persona 4 скоро выйдет из тени — журналисты рассекретили дату анонса 11 ч.
AMD продолжает шоппинг: компания купила стартап Brium для борьбы с доминированием NVIDIA 12 ч.
В открытый доступ попал релизный трейлер дополнения Lies of P: Overture — аддон выйдет со дня на день 12 ч.
Apple разработала ИИ, выявляющий нетипичные аспекты устной речи — это поможет диагностировать заболевания 13 ч.
«Аквариус» анонсировала защищённую платформу СХД S2-1 с российским процессором Baikal-S 6 ч.
NASA повысило вероятность столкновения астероида 2024 YR4 с Луной через 7 лет 9 ч.
AMD купила команду разработчика ИИ-чипов Untether AI, но не саму компанию, которая тут же закрылась 13 ч.
В этом году МТС отключит половину своих базовых станций 3G в России 16 ч.
Для создания российской космической станции «Роскосмос» заказал ещё три ракеты «Ангара-А5М» 17 ч.
Intel признала, что изначально разрабатывала ангстремные техпроцессы 18A и 14A для себя, а не сторонних заказчиков 17 ч.
После рекордного обвала акции Tesla пошли вверх, поскольку Трамп и Маск готовят примирение 18 ч.
Японский лунный аппарат Resilience с мини-луноходом долетел до Луны — и мгновенно разобрался 18 ч.
В Китае испытали сверхзащищённый канал уникальной квантовой связи с взлетающей ракетой 18 ч.
Huawei и XPeng представили гигантский 87-дюймовый проекционный дисплей для авто 19 ч.