Apple научила ИИ распознавать неизвестные жесты рук по сигналам ЭМГ

Исследователи Apple разработали модель искусственного интеллекта EMBridge, которая на основе данных с сенсоров ЭМГ распознаёт жесты рук, даже если эти жесты отсутствовали в обучающем массиве.

Технология электромиографии (ЭМГ) предполагает измерение электрической активности, которую во время сокращения производят мышцы. Эта технология применяется в медицинской диагностике, физиотерапии и даже в системах управления протезами конечностей; в последние годы она используется также в носимых устройствах для систем дополненной и виртуальной реальности. Так, с очками Meta✴ Ray-Ban Display эта технология применяется в комплектном контроллере Neural Band.

Apple при обучении использовала два готовых набора данных: emg2pose и NinaPro DB2. Для обучения модели EMBridge понадобились два представления: данные ЭМГ и данные с координатами фактических положений рук. На начальном этапе обучение производилось по двум этим представлениям в отдельности, после чего исследователи провели сопоставление, чтобы компонент ЭМГ начал учиться у компонента с положениями рук — в результате EMBridge стал распознавать признаки жестов по одним только сигналам ЭМГ.

Далее задачу ИИ усложнили: частично скрыли данные второго потока и заставили ИИ строить предположения по этому потоку, исходя только из данных ЭМГ. Чтобы уменьшить число ошибок на этом этапе, исследователи сделали оценку ответов ИИ менее строгими, чтобы схожие жесты воспринимались системой как родственные, а не полностью отличные друг от друга. Это помогло структурировать пространство представлений модели и улучшило её способность реконструировать позиции рук, которые вообще отсутствовали в обучающих массивах.

Работу EMBridge проверили на массивах emg2pose и NinaPro, использовав их в качестве бенчмарков, и установили, что алгоритм сохраняет эффективность даже при использовании всего 40 % обучающих данных. Важным ограничением технологии, отмечают учёные, является использование при обучении ИИ-модели наборов данных, содержащих сигналы ЭМГ и соответствующих им данных о положении рук — а эти массивы не безграничны.