Когда в прошлом месяце Google выпустила первую предварительную версию Android 11 Developer Preview, исследователи обнаружили в ней набор новых функций для управления с помощью жестов под кодовым названием Columbus. Было выявлено, что двойное касание тыльной стороны устройства позволяет запустить Google Assistant, включить камеру и др. А с выходом Android 11 Developer Preview 2 список доступных жестов дополнительно расширился.

Помимо прочего, с помощью двойных касаний Android 11 позволит запустить обзор недавно используемых приложений, а также сделать снимок экрана. Предполагалось, что новые элементы управления с помощью двойных касаний станут эксклюзивом для новых смартфонов Google Pixel. Однако с выходом Android 11 Developer Preview 2 исследователи обнаружили, что функции работают на смартфонах Pixel 3 XL, Pixel 4 и Pixel 4 XL.

Для использования новых элементов управления с помощью жестов не требуется какое-либо дополнительное оборудование. Вместо этого используются данные, получаемые от встроенных датчиков, таких как акселерометр и гироскоп, которые позволяют определить, когда пользователь дважды касается тыльной стороны устройства. Чтобы снизить энергопотребление, новые команды имеют некоторые ограничения, защищающие от случайных срабатываний в случаях, когда экран выключен, активирован экран блокировки или запущена камера. Исследователи также обнаружили код для защиты от ложных срабатываний за счёт использования фильтров верхней и нижней частот срабатывания акселерометра и гироскопа. Об этом говорит появление нескольких новых классов в SystemUIGoogle.

Набор новых функций управления с помощью жестов Columbus включает в себя опции для запуска таймера и голосового помощника Google Assistant, возможности управления воспроизводимой музыкой, включение камеры и др. Исследователи отмечают, что, хотя им и удалось воспроизвести указанные функции на некоторых смартфонах Google, в том числе на Pixel 3a XL и Pixel 2 XL, нет никаких доказательств того, что новые жесты останутся в силе после того, как программная платформа Android 11 станет общедоступной.

Отслеживание движения и формы рук в режиме реального времени является основной составляющей для систем управления при помощи жестов и программ-переводчиков с языка жестов на понятную нам речь, не говоря уже об активном использовании данной технологии в сфере дополненной и виртуальной реальности. Такое количество проблем и задач в данной области побудило учёных из Google попытаться разработать новый подход в сфере компьютерного зрения для восприятия человеческих рук, который смог бы максимально использовать современные технологии машинного обучения. В итоге исследователям удалось в эксперименте при помощи мобильного телефона распознать 21 точку зафиксированную на руке комбинацию (или нескольких руках одновременно) в рамках одного кадра и затем динамически отслеживать их изменения, считывая заранее определённые жесты в произвольной последовательности.

Исследователи из лаборатории Google AI выложили в открытый доступ реализацию системы распознавания жестов, способную захватывать и считывать движения человеческой ладони через камеру мобильного устройства

Google представила новую технологию на конференции по компьютерному зрению и распознаванию образов, проходившей в этом году в июне в Лонг-Бич, Калифорнии, и недавно внедрила её в MediaPipe, кросс-платформенной фреймворк для машинного обучения с моделями для распознавания лиц, рук, волос и различных объектов окружающего мира, при этом исходный код и инструкции по использованию доступны для всех желающих на GitHub.

«Способность воспринимать форму и движение рук может стать жизненно важным компонентом для улучшения взаимодействия с пользователем в различных технологических областях и платформах», — пишут инженеры-исследователи Валентин Базаревский (Valentin Bazarevsky) и Фан Чжан (Fan Zhang) в своём блоге. «Мы надеемся, что предоставленная нами сообществу исследователей и разработчиков технология для восприятия рук приведёт к появлению различных творческих вариантов её использования, а также к стимулированию появления новых приложений и направлений исследований в данной области».

Новая технология Google включает в себя три модели искусственного интеллекта, работающих во взаимосвязи: детектор ладони, который команда назвала BlazePalm, чья задачи анализировать кадр и возвращать ограничивающий прямоугольник, в котором находится ладонь человека; модель для разметки ладони, которая анализирует область изображения, полученного от BlazePalm, и возвращает набор трёхмерных точек, образующих скелет руки; непосредственно моде, распознающая жесты, которая классифицирует ранее полученную конфигурацию из точек и сопоставляет их с тем или иным жестом.

Распознать на изображении руки — это непростая задача. BlazePalm вынужден решать её в условиях отсутствия функции, позволяющей отличать открытые и закрытые положения рук. Чтобы решить эту задачу, команда обучила детектор обнаруживать ладони, а не сами руки, поскольку отличить небольшой ограниченный объект, такой как кулак, обычно легче, чем обнаружить руки или пальцы. В качестве дополнительного преимущества BlazePalm также хорошо работает в граничных случаях, например, распознавая ладони при рукопожатии и генерируя ограничивающие рамки для дальнейшей работы алгоритма.

После обнаружения области, где находится ладонь человека, в дело вступает модель разметки, которая локализует 21 трёхмерную точку, позволяющих с высокой точностью определить положение каждого пальца руки. Для обучения данной модели потребовалось 30 000 изображений ладони с помеченными вручную точками, а также создание синтетической модели руки, которую размещали на различном фоне.

Последний шаг в работе алгоритма — это система распознавания жестов, которая определяет состояние каждого пальца по углам, образованных суставами, и сопоставляет положение пальцев рук с предварительно определёнными вариантами жестов.

Отдельные задачи, такие как обрезка кадра и рендеринг, выполняют исключительно на графических картах, а детектор ладони работает только по мере необходимости, так как большую часть времени местоположение руки в последующих кадрах определяется исходя из вычисленных ранее ключевых точек руки. Только когда достоверность считывания жестов опускается ниже определенного порога, модель обнаружения ладони повторно применяется ко всему кадру. Всё это позволяет оптимизировать производительность работы алгоритма. В будущем Базаревский, Чжан и их коллеги планируют развивать данную технологию и сделать отслеживание ещё более надежным и стабильным, а также увеличить количество поддерживаемых жестов.

Федеральная комиссия по связи США (FCC), по сообщениям сетевых источников, выдала Google разрешение, позволяющее радару системы Soli работать при более высоких уровнях мощности, нежели регламентировано нормативными актами.

По проекту Soli создаётся передовая система бесконтактного жестового управления. Её главный компонент — крошечный радар, выполненный в виде чипа с размерами 10 × 8 мм (включая массив антенн). Решение не имеет подвижных частей, нечувствительно к освещённости и может осуществлять сканирование через различные материалы.

Жестовое управление может быть реализовано в виде движений пальцев друг относительно друга: это может быть, скажем, нажатие виртуальной кнопки (соприкосновение большого и указательного пальцев), прокрутка (перемещение большого пальца по указательному) и пр.

Компания Google запрашивала у FCC разрешение на использование радара в частотном диапазоне 57–64 ГГц при повышенном уровне мощности. Полученное теперь одобрение приближает систему Soli к выходу на коммерческий рынок. Более того, в документации FCC сказано, что новые сенсоры могут использоваться на борту самолётов.

Предполагается, что в перспективе решение найдёт применение в носимых устройствах, шлемах виртуальной и дополненной реальности, игровых системах, устройствах Интернета вещей и пр.

Недавно мы рассказывали, что компания Amazon изобрела «подушку безопасности» для посылок, доставляемых дронами. Теперь Управление США по патентам и торговым маркам (USPTO) выдало Amazon патент на другую разработку в области беспилотных летательных аппаратов (БПЛА).

Документ под названием «Взаимодействие человека с беспилотником» (Human interaction with unmanned aerial vehicles) зарегистрирован 20 марта нынешнего года. Однако заявка на изобретение была подана ещё летом 2016-го.

Идея заключается в реализации системы жестового управления. Предполагается, что человек сможет отдавать определённые команды дрону при помощи взмахов рук. Для регистрации таких жестов будут использовать камеры и датчики, установленные на борту беспилотника.

По задумке Amazon, жестовые команды могут быть задействованы для того, чтобы указать дрону-посыльному место посадки. Кроме того, подобная система может оказаться полезной в некоторых других ситуациях, скажем, в случае отказа традиционного управления.

Впрочем, пока компания Amazon лишь запатентовала технологию. О планах по её практической реализации ничего не сообщается.

Компания BioInteractive Technologies разработала инновационный контроллер для организации жестового управления: система получила название TENZR.

Решение рассчитано на использование вместе с платформами виртуальной (VR) и дополненной (AR) реальности. Утверждается, что устройство обеспечит более высокий комфорт управления по сравнению с доступными сегодня на рынке манипуляторами.

TENZR представляет собой особый браслет, предназначенный для ношения на запястье. Решение весит приблизительно 45 граммов. В нём применяется некая «кастомизированная сенсорная технология» для точного улавливания жестов.

Базовые жесты управления, как, например, раскрытие и сжатие ладони, TENZR сможет распознавать «из коробки», без необходимости тренировки. Для обмена данными с VR/AR-шлемами служит беспроводная связь Bluetooth Low Energy.

В настоящее время BioInteractive Technologies принимает предварительные заказы на комплекты TENZR для разработчиков: стоимость продукта составляет приблизительно 200 долларов США. Поставки планируется организовать в первой четверти наступающего года.

Продемонстрировать новинку BioInteractive Technologies намерена на выставке электроники Consumer Electronics Show (CES) 2018 в январе.

Управление США по патентам и торговым маркам (USPTO) опубликовало весьма любопытную патентную заявку Samsung на очередную разработку в компьютерной сфере.

В документе речь идёт об «Электронном устройстве, использующем электромагнитное поле для обеспечения пользовательского ввода» (Electronic Device Using Electromagnetic Field For User Input). Заявка на регистрацию соответствующего изобретения была подана в июне нынешнего года.

Южнокорейский гигант предлагает расширить возможности тачпада в портативных компьютерах. Предполагается, что такая панель сможет распознавать бесконтактные жесты. Иными словами, пользователь сможет отдавать те или иные команды за счёт взмахов ладони или пальцев над поверхностью тачпада.

С технической точки зрения система будет полагаться на регистрацию колебаний электромагнитного поля. Тачпад с поддержкой бесконтактного жестового управления может быть размещён под клавиатурой или над ней.

Теоретически при помощи взмахов руки в воздухе пользователи смогут выполнять такие действия, как пролистывание страниц документа или смена фотографий, переключение треков в мультимедийном плеере и пр.

К сожалению, о возможных сроках практической реализации предложенного решения пока ничего не сообщается.

Компания Continental предложила концепцию нового автомобильного интерфейса управления, который, как утверждается, обеспечит удобное и интуитивное взаимодействие с бортовыми системами без излишнего отвлечения водителя от дороги.

Идея заключается в использовании специальной сенсорно-жестовой системы. Для активации этого интерфейса автомобилисту будет достаточно прикоснуться одновременно двумя пальцами к сенсорному экрану информационно-развлекательного комплекса.

Далее можно отдавать различные команды посредством жестов двумя пальцами на дисплее. К примеру, нарисовав символ в виде крыши дома, можно будет попросить навигационную систему составить оптимальный маршрут до дома. Пиктограмма в виде сердца активирует любимую радиостанцию, а кольцо — систему кондиционирования.

Continental отмечает, что подобные жесты могут выполняться в любой части сенсорного экрана, а поэтому водителю не придётся надолго переводить взгляд с дороги на медиацентр. К тому же символьные команды легко запоминаются, а сам интерфейс не требует какого-либо сложного обучения.

О сроках вывода предложенного решения на коммерческий автомобильный рынок ничего не сообщается.

Компании Qualcomm и Leap Motion объявили о новом проекте, главной целью которого является обеспечение естественного взаимодействия пользователей с объектами виртуальной реальности (VR).

Речь идёт о совмещении возможностей передовой аппаратной платформы Snapdragon 835 и системы жестового управления Leap Motion. Последняя позволяет обнаруживать движения кистей рук и пальцев в пределах сотой доли миллиметра.

Для работы с системой Leap Motion в шлемы виртуальной реальности будет интегрироваться специальный контроллер. Он обладает полем зрения 180 × 180 градусов, благодаря чему обеспечивается распознавание движений рук пользователя в достаточно большой области перед шлемом.

Предполагается, что применение Leap Motion позволит обеспечить интуитивное управление в виртуальном мире при помощи естественных жестов.

Qualcomm и Leap Motion предлагают оснащать системой жестового управления самодостаточные шлемы виртуальной реальности, которым для работы не требуется внешний вычислительный узел. В данном случае необходимые аппаратные ресурсы сможет обеспечить производительный чип Snapdragon 835, который содержит восемь вычислительных ядер Kryo 280 с тактовой частотой до 2,45 ГГц и графический ускоритель Adreno 540.

Компания Leap Motion сообщила об адаптации своей системы жестового управления для использования в шлемах виртуальной реальности (VR) на основе смартфонов.

Система Leap Motion позволяет обнаруживать движения в пределах сотой доли миллиметра. Контроллер вполне способен заменить мышь или тачпад. Если настроить систему правильно, то можно выделять текст и изображения, открывать папки, запускать программы и кликать по интернет-ссылкам путём простых движений рук в воздухе.

Отмечается, что для интеграции решения в шлемы виртуальной реальности пришлось переработать всю аппаратную часть. В частности, необходимо было обеспечить минимальное энергопотребление и повысить производительность. Поле зрения по сравнению с настольной версией выросло со 140 × 120 градусов до 180 × 180 градусов.

Предполагается, что применение Leap Motion позволит обеспечить интуитивное управление в виртуальном мире при помощи естественных жестов.

Компания Leap Motion уже создала шлем референсного дизайна на основе Gear VR. Демонстрировать устройство планируется на различных мероприятиях, связанных с виртуальной реальностью. О сроках вывода системы на коммерческий рынок ничего не сообщается.

Компания Thalmic Labs сообщила о том, что ей удалось привлечь $120 млн от таких гигантов, как Intel Capital, фонд Amazon Alexa и Fidelity Investments Canada. Стоит отметить, что канадским стартапам нечасто доводится получать столь крупные суммы, так что, по всей видимости, инвесторы считают разработки Thalmic Labs чрезвычайно перспективными. Собственно, вице-президент Alexa Стив Рабачин (Steve Rabuchin) заявил, что компания «раздвигает границы возможного в технологиях бесконтактного управления».

Браслет Thalmic Myo

Напомним, что ещё в 2012 году Thalmic Labs представила браслет Myo, предназначенный для жестового управления устройствами. Его особенность заключается в том, что он считывает электрические импульсы в мышцах руки и затем передаёт команды гаджетам. Примечательно, что браслет можно использовать не только по прямому назначению. Учёные уже научились применять Myo для распознавания и перевода языка жестов, кроме того, он может помочь людям с ампутированными конечностями научиться управлять протезами.

Разумеется, на Myo Thalmic Labs останавливаться не намерена. Компания пообещала в скором времени поделиться информацией о новых продуктах. Привлечённые инвестиции же, несомненно, помогут ей воплотить свои идеи в жизнь.

Подразделение Google Advanced Technology And Projects (ATAP) продемонстрировало плоды реализации инициативы Project Soli, первая информация о которой появилась около года назад.

Идея заключается в создании миниатюрного и экономичного радарного сенсора для регистрации жестов на расстоянии. Такой чип может интегрироваться в самые разнообразные носимые и бытовые электронные устройства для реализации бесконтактного управления.

За прошедший год разработчикам удалось примерно в 20 раз снизить энергопотребление микрочипа — с 1,2 до 0,054 Вт. Вместе с тем в три раза уменьшены размеры изделия. При этом сохранена высокая производительность, обеспечивающая необходимую точность считывания движений на расстоянии.

Google в рамках проекта Soli продемонстрировала «умные» наручные часы с бесконтактным управлением. Кроме того, компания работает с JBL и Harman над созданием акустических систем с функциями распознавания жестов. Управлять такими устройствами можно будет с расстояния до 15 метров.

О сроках появления коммерческих продуктов с технологией Soli, к сожалению, ничего не сообщается. Но известно, что в 2017 году станет доступен комплект для разработчиков Soli Beta Developer Kit.

Компания Continental предложила новую концепцию автомобильной системы жестового управления, которая позволит водителям всегда держать руки на руле и меньше отвлекаться от дороги.

Идея заключается в том, чтобы расположить за «баранкой» две прозрачные пластиковые панели, имитирующие тачпады. На самом деле эти панели не содержат никаких электронных компонентов и выполняют функции упорной поверхности для более удобного ввода команд.

Сами же жесты воспринимаются специальным сенсорным блоков в приборном щитке. Этот модуль содержит инфракрасные датчики и 3D-камеру. Утверждается, что положение рук автомобилиста и их движения распознаются с точностью до миллиметра.

Новая система теоретически сможет стать альтернативой привычным кнопкам на руле и сенсорным зонам. Водитель через прозрачные панели сможет пролистывать меню, выбирать нужные пункты и отдавать те или иные команды. Кроме того, система способна воспринимать бесконтактные жесты.

Ещё одним достоинством предложенной концепции является то, что она может быть без проблем адаптирована под водительские зоны разной конфигурации. Кроме того, автопроизводители смогут настраивать нужные жестовые команды по своему усмотрению.

О сроках вывода разработки на коммерческий рынок ничего не сообщается.

На площадке Kickstarter дебютировал проект Gest по созданию контроллера нового поколения для взаимодействия с различными электронными устройствами — компьютерами, смартфонами, планшетами и пр.

Манипулятор представляет собой небольшой модуль, закрепляющийся на ладони. От него отходят четыре накладки с проводным подключением для пальцев. Гаджет наделён 15 сенсорами, которые с высокой точностью и небольшими задержками фиксируют положение руки и пальцев в пространстве.

Утверждается, что Gest позволяет выполнять самые различные операции при помощи жестов. Посредством контроллера, к примеру, можно взаимодействовать с виртуальными трёхмерными объектами на экране компьютера, изменять настройки в запущенном приложении, управлять медиаплеером и пр. Более того, используя два контроллера для правой и левой рук можно набирать текст «слепым» методом на любой поверхности так, как если бы на ней лежала обычная клавиатура.

Манипулятор наделён адаптером беспроводной связи Bluetooth Low Energy (BLE) для обмена данными с сопряжённым устройством. Заряда аккумулятора хватает на день работы; подзарядка осуществляется через порт Micro-USB.

Для выпуска новинки требуется собрать $100 000: на это отводится месяц. Сейчас заказать контроллер можно пожертвовав $150.

На сайте Бюро США по патентам и торговым маркам (USPTO) обнародована патентная заявка Samsung на новую систему управления «умными» телевизорами при помощи жестов.

Идея заключается в том, чтобы сформировать в пространстве возле пользователя невидимую область в виде куба или параллелепипеда, внутри которой будут восприниматься жестовые команды. Для этого предлагается задействовать две камеры: одна из них должна быть вмонтирована в ТВ-панель, а в качестве второй может быть использована камера мобильного устройства — смартфона или планшета.

Система может быть дополнена массивом направленных микрофонов. В этом случае зрители, наряду с жестовым управлением, смогут отдавать инструкции посредством голосовых команд.

В качестве примеров использования системы называется регулировка громкости, переключение каналов, выполнение интернет-поиска, набор текста на виртуальной экранной клавиатуре и пр.

Предполагается, что формирование ограниченной области для регистрации жестовых команд избавит от ложных срабатываний. Правда, необходимость применения смартфона или планшета для регистрации движений руки может породить определённые неудобства. Так или иначе, пока о планах Samsung по практическому применению патентуемой системы ничего не сообщается.

На площадке Indiegogo с успехом профинансирован проект Moky по выпуску портативной клавиатуры, у которой поверхность поля с кнопками может играть роль большого тачпада с поддержкой жестового управления.

Принцип работы Moky заключается в использовании массива инфракрасных оптических сенсоров, отслеживающих движения рук и пальцев. Благодаря этому над поверхностью клавиатуры создаётся «невидимая сенсорная панель». Пользователи могут выполнять операции при помощи привычных жестов прокрутки, масштабирования и так далее. Управление через тачпад активируется при нажатии и удержании специальной кнопки под пробелом.

Для обмена данными с компьютером, смартфоном или планшетом применяется беспроводная связь Bluetooth LE. Участники проекта уверяют, что заряда встроенной аккумуляторной батареи хватит на три месяца использования при условии работы по четыре часа в день.

Клавиатура наделена защитной обложкой, которая также может играть роль подставки для фаблета или планшета. Выпуск Moky планируется в нескольких вариантах цветового оформления. Говорится о совместимости с Android, Windows и iOS, правда, в последнем случае функции тачпада доступны не будут.

Участники проекта уже собрали на новинку более $50 тыс. при изначально заявленной цифре в $30 тыс. При этом до закрытия Indiegogo-копилки остаётся ещё месяц. Заказать Moky можно по цене в $69.