Google научила смартфоны следить за пульсом человека через фронтальную камеру

Google разработала систему, способную оценивать частоту сердечных сокращений у человека при помощи фронтальной камеры на смартфоне. Эта технология в перспективе сможет выступить заменой аналогичной функции на смарт-часах и фитнес-браслетах.

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Источник изображений: research.google

Отслеживанием частоты сердечных сокращений в последние годы занимались преимущественно устройства, которые надеваются на запястье. Но люди покупают эти носимые устройства реже, чем смартфоны, и Google нашла способ, как расширить возможности последних. Система получила название пассивного мониторинга сердечного ритма (PHRM) — при помощи камеры для селфи она анализирует изменения кожи на лице человека в зависимости от кровотока. Эти мелкие колебания невидимы для человеческого глаза, но современные камеры и модели машинного обучения способны их обнаруживать. В реализации Google пользователь разблокирует свой смартфон при помощи функции распознавания лица, параллельно записывая ролик длиной в восемь секунд. Модель ИИ анализирует видеозапись и оценивает частоту сердечных сокращений пользователя.

Схожие решения встречались и раньше — частоту сердечного ритма измеряли при помощи задней камеры и вспышки, а также оптических сканеров отпечатков пальцев. Но в Google решили сделать эту функцию вспомогательной при обычном сценарии использования смартфона. Примечательно, что эта технология работает с достаточно высокой точностью: для обучения и проверки системы использовались более 350 тыс. роликов, записанных 700 добровольцами. Компания включила в выборку людей с различными оттенками кожи, и это важно, потому что тёмная кожа может затруднить выполнение задачи. Точность PHRM отличалась от показаний Fitbit Charge 6 не более чем на пять ударов в минуту.

Инженеры Google перенесли исследование из лабораторных в реальные условия — добровольцы в течение недели носили одновременно электрокардиографы и фитнес-трекеры Fitbit, а система на смартфоне продолжала показывать достойные результаты и вне лаборатории. Впрочем, работает она не идеально: возникают затруднения последовательным получением измерений для людей с тёмным цветом кожи; возникали ошибки из-за разговоров, движений головы и других повседневных действий. Ещё один проблемный аспект — конфиденциальность. Эту проблему в Google предложили решать посредством обработки данных на устройстве и средств аутентификации по лицу. Пока PHRM остаётся исследовательским проектом, но достаточно перспективным — если смартфоны смогут отслеживать сердечный ритм человека без вспомогательных устройств, мониторинг здоровья сердца станет доступнее.