Исследователи из Google Research разработали «умный» провод I/O braid, который распознает прикосновения пользователей. Он способен улавливать сдавливание, скручивание и простые касания любого человека. Ощущая разные типы прикосновений, используемый в наушниках провод даёт смартфону команды на увеличение и уменьшение громкости, переключение трека и выполнение других действий. Принцип работы I/O braid показан на видео ниже.

Провод распознает прикосновения благодаря состоящему из сенсорных проводов сплетению, именуемому как «спиральная сенсорная матрица». Оплётка покрывает всю поверхность шнурка, поэтому пользователь может управлять музыкой, касаясь любой области.

Способность различать разные типы касаний была реализована при помощи машинного обучения. Данные для обучения были собраны при помощи добровольцев, которых попросили различными способами взаимодействовать с проводом. В конечном итоге, благодаря собранным данным, I/O braid научился с 94% точностью распознавать скручивания, сдавливания и другие виды деформации.

Исследователи придумали жесты для управления музыкой на смартфоне:

• одинарное нажатие — начало воспроизведения и пауза;
• двойное нажатие — переход к следующему треку;
• скручивание влево — уменьшение громкости;
• скручивание вправо — увеличение громкости.

По мнению изобретателей, скручивать и сжимать провод наушников гораздо проще, чем нажимать на клавиши управления на наушниках. Однако, у такого способа управления есть большой минус — во время ходьбы провод деформируется сам по себе, из-за чего возникают ложные срабатывания.

Как бы то ни было, на данный момент I/O braid — это всего лишь исследовательский проект, и серийные наушники с «умными» проводами вряд ли поступят в продажу в ближайшее время.

Выход Android 11 Developer Preview принёс пользователям много новых интересных функций. Последняя функция, о которой стало известно, это — жест двойного касания задней панели смартфона.

google.com

По умолчанию новый жест вызывает Google Assistant, но его можно переназначить на запуск камеры. Функция, получившая кодовое имя Columbus, вероятно будет эксклюзивной для смартфонов линейки Google Pixel.

Механизм работы нового жеста пока не раскрыт, но, похоже, касание к задней части смартфона улавливается с помощью гироскопа или акселерометра, поэтому для ее функционирования не требуются дополнительные датчики. Смартфон может определить двойное касание, даже будучи облачённым в чехол.

google.com

По словам пользователей опробовавших новую функцию, она работает даже при выключенном дисплее устройства. Но также они отмечают, что чувствительность порой чрезмерна, что приводит к ложным срабатываниям.  

Отслеживание движения и формы рук в режиме реального времени является основной составляющей для систем управления при помощи жестов и программ-переводчиков с языка жестов на понятную нам речь, не говоря уже об активном использовании данной технологии в сфере дополненной и виртуальной реальности. Такое количество проблем и задач в данной области побудило учёных из Google попытаться разработать новый подход в сфере компьютерного зрения для восприятия человеческих рук, который смог бы максимально использовать современные технологии машинного обучения. В итоге исследователям удалось в эксперименте при помощи мобильного телефона распознать 21 точку зафиксированную на руке комбинацию (или нескольких руках одновременно) в рамках одного кадра и затем динамически отслеживать их изменения, считывая заранее определённые жесты в произвольной последовательности.

Исследователи из лаборатории Google AI выложили в открытый доступ реализацию системы распознавания жестов, способную захватывать и считывать движения человеческой ладони через камеру мобильного устройства

Google представила новую технологию на конференции по компьютерному зрению и распознаванию образов, проходившей в этом году в июне в Лонг-Бич, Калифорнии, и недавно внедрила её в MediaPipe, кросс-платформенной фреймворк для машинного обучения с моделями для распознавания лиц, рук, волос и различных объектов окружающего мира, при этом исходный код и инструкции по использованию доступны для всех желающих на GitHub.

«Способность воспринимать форму и движение рук может стать жизненно важным компонентом для улучшения взаимодействия с пользователем в различных технологических областях и платформах», — пишут инженеры-исследователи Валентин Базаревский (Valentin Bazarevsky) и Фан Чжан (Fan Zhang) в своём блоге. «Мы надеемся, что предоставленная нами сообществу исследователей и разработчиков технология для восприятия рук приведёт к появлению различных творческих вариантов её использования, а также к стимулированию появления новых приложений и направлений исследований в данной области».

Новая технология Google включает в себя три модели искусственного интеллекта, работающих во взаимосвязи: детектор ладони, который команда назвала BlazePalm, чья задачи анализировать кадр и возвращать ограничивающий прямоугольник, в котором находится ладонь человека; модель для разметки ладони, которая анализирует область изображения, полученного от BlazePalm, и возвращает набор трёхмерных точек, образующих скелет руки; непосредственно моде, распознающая жесты, которая классифицирует ранее полученную конфигурацию из точек и сопоставляет их с тем или иным жестом.

Распознать на изображении руки — это непростая задача. BlazePalm вынужден решать её в условиях отсутствия функции, позволяющей отличать открытые и закрытые положения рук. Чтобы решить эту задачу, команда обучила детектор обнаруживать ладони, а не сами руки, поскольку отличить небольшой ограниченный объект, такой как кулак, обычно легче, чем обнаружить руки или пальцы. В качестве дополнительного преимущества BlazePalm также хорошо работает в граничных случаях, например, распознавая ладони при рукопожатии и генерируя ограничивающие рамки для дальнейшей работы алгоритма.

После обнаружения области, где находится ладонь человека, в дело вступает модель разметки, которая локализует 21 трёхмерную точку, позволяющих с высокой точностью определить положение каждого пальца руки. Для обучения данной модели потребовалось 30 000 изображений ладони с помеченными вручную точками, а также создание синтетической модели руки, которую размещали на различном фоне.

Последний шаг в работе алгоритма — это система распознавания жестов, которая определяет состояние каждого пальца по углам, образованных суставами, и сопоставляет положение пальцев рук с предварительно определёнными вариантами жестов.

Отдельные задачи, такие как обрезка кадра и рендеринг, выполняют исключительно на графических картах, а детектор ладони работает только по мере необходимости, так как большую часть времени местоположение руки в последующих кадрах определяется исходя из вычисленных ранее ключевых точек руки. Только когда достоверность считывания жестов опускается ниже определенного порога, модель обнаружения ладони повторно применяется ко всему кадру. Всё это позволяет оптимизировать производительность работы алгоритма. В будущем Базаревский, Чжан и их коллеги планируют развивать данную технологию и сделать отслеживание ещё более надежным и стабильным, а также увеличить количество поддерживаемых жестов.

Федеральная комиссия по связи США (FCC), по сообщениям сетевых источников, выдала Google разрешение, позволяющее радару системы Soli работать при более высоких уровнях мощности, нежели регламентировано нормативными актами.

По проекту Soli создаётся  передовая система бесконтактного жестового управления. Её главный компонент — крошечный радар, выполненный в виде чипа с размерами 10 × 8 мм (включая массив антенн). Решение не имеет подвижных частей, нечувствительно к освещённости и может осуществлять сканирование через различные материалы.

Жестовое управление может быть реализовано в виде движений пальцев друг относительно друга: это может быть, скажем, нажатие виртуальной кнопки (соприкосновение большого и указательного пальцев), прокрутка (перемещение большого пальца по указательному) и пр.

Компания Google запрашивала у FCC разрешение на использование радара в частотном диапазоне 57–64 ГГц при повышенном уровне мощности. Полученное теперь одобрение приближает систему Soli к выходу на коммерческий рынок. Более того, в документации FCC сказано, что новые сенсоры могут использоваться на борту самолётов.

Предполагается, что в перспективе решение найдёт применение в носимых устройствах, шлемах виртуальной и дополненной реальности, игровых системах, устройствах Интернета вещей и пр. 

Управление США по патентам и торговым маркам (USPTO) выдало корпорации Microsoft патент на так называемую систему бесконтактного ввода (Touchless input).

Речь идёт об использовании технологии, которая позволит владельцам планшетов взаимодействовать со своими устройствами, не прикасаясь к сенсорному экрану. Выполнять определённые действия и отдавать команды можно будет при помощи жестов в воздухе.

Практическая реализация системы предусматривает применение специальной камеры,  наделённой сенсором глубины. Датчики смогут регистрировать движения кисти руки и пальцев в трёхмерном пространстве, а сопутствующие программные алгоритмы позволят преобразовывать снятые показания в те или иные инструкции.

В составе коммерческих устройств может быть задействована времяпролётная камера (ToF, time-of-flight). Такие решения служат для оценки глубины сцены. Принцип работы ToF-камеры заключается в измерении времени движения света от источника до объекта и отражённого света до специального датчика.

Заявка на патент была подана ещё в марте 2016 года, но зарегистрировано изобретение только сейчас.

Не исключено, что запатентованная система появится в планшетах Surface следующего поколения. Впрочем, сама корпорация Microsoft о планах по выводу запатентованной технологии на рынок ничего не сообщает. 

Представьте такую ситуацию. Вы смотрите любимое телешоу и одновременно наслаждаетесь вкусной снедью, например, сырными шариками. Но ваш энергичный хруст настолько громкий, что не слышно телевизора. Вы добираетесь до пульта дистанционного управления, но останавливаетесь, так как ваши пальцы измазаны в сыре. Приходится идти мыть руки, чтобы затем увеличить громкость и продолжить просмотр.

Однако длительной битве между желанием перекусить и невозможностью управлять просмотром во время еды с помощью ДУ приходит конец благодаря инновационному предложению Roku Happy Streaming™ Socks.

Носки для управления потоковым вещанием Happy Streaming™ Socks имеют следующие ключевые особенности:

• 1) Высокочувствительные встроенные датчики движения: все команды, доступные на вашем пульте Roku, могут быть выполнены без привлечения рук.
• Датчики движения позволяют движением ноги осуществлять поиск по меню на экране телевизора.
• Для выбора необходимой передачи необходимо коснуться пальца.
• Для запуска воспроизведения достаточно «кликнуть» по пятке.
• Для доступа к бесплатным развлечениям, таким, как на канале The Roku Channel, необходимо пошевелить всеми пальцами ног.
• 2) Обогрев ног
• Нажмите на бирку Roku и ваши ноги будут в тепле.
• 3) Благодаря встроенной функции для удалённого поиска вы никогда не потеряете носок. Просто нажмите кнопку Sock Finder и сразу услышите звуковой сигнал, который приведёт вас к потерянному носку.

Приобрести новинку можно по цене 0,01 биткоина. Подробности — на сайте Roku.com.

Компания BioInteractive Technologies разработала инновационный контроллер для организации жестового управления: система получила название TENZR.

Решение рассчитано на использование вместе с платформами виртуальной (VR) и дополненной (AR) реальности. Утверждается, что устройство обеспечит более высокий комфорт управления по сравнению с доступными сегодня на рынке манипуляторами.

TENZR представляет собой особый браслет, предназначенный для ношения на запястье. Решение весит приблизительно 45 граммов. В нём применяется некая «кастомизированная сенсорная технология» для точного улавливания жестов.

Базовые жесты управления, как, например, раскрытие и сжатие ладони, TENZR сможет распознавать «из коробки», без необходимости тренировки. Для обмена данными с VR/AR-шлемами служит беспроводная связь Bluetooth Low Energy.

В настоящее время BioInteractive Technologies принимает предварительные заказы на комплекты TENZR для разработчиков: стоимость продукта составляет приблизительно 200 долларов США. Поставки планируется организовать в первой четверти наступающего года.

Продемонстрировать новинку BioInteractive Technologies намерена на выставке электроники Consumer Electronics Show (CES) 2018 в январе. 

Работа Baidu над алгоритмом по принципу искусственного интеллекта позволила достичь успехов в создании персонального голосового ассистента, обладающего навыками самообучения. Опыт сотрудничества с Alphabet, Microsoft и NVIDIA в разработке уникального ПО нашёл воплощение в двух продемонстрированных Baidu на пекинской конференции устройствах — смарт-акустике Raven H и Raven R. Обе колонки проектировались совместно со специалистами Teenage Engineering.

Модель Baidu Raven H имеет модульную конструкцию, что позволяет рассматривать её как в качестве замены традиционной портативной колонки, так и превратить её в смарт-хаб для управления компонентами «умного» дома. При этом контролировать сеть Интернета вещей удастся посредством лишь одного подключаемого дисплея без задействования базовой конструкции.

Правда, насколько удобный окажется матричный экран Raven H, пусть даже с поддержкой сенсорного взаимодействия, сказать трудно. Фиксация дисплея к основе реализована за счёт магнитного крепления, что упрощает трансформацию Raven H из домашнего гаджета в аудиоколонку с приоритетом на автономные задачи.  

Что касается версии Baidu Raven R, то данная смарт-акустика выглядит куда интереснее с точки зрения дизайна и заявленных функциональных возможностей. К примеру, Raven R умеет выражать эмоции благодаря подвижным элементам конструкции — шестиосевому манипулятору, напоминающему «руку» промышленных роботов FANUC серии Arc Welding.

Baidu Raven R, по заявлению разработчиков, является первой в мире «эмоциональной шестиосевой формой жизни» — смарт-акустикой, способной невербально реагировать на беседу с пользователем методом копирования привычных нам жестов. Помогает устройству в этом уникальная технология Baidu с возможностью распознавания интонации собеседника, построенная на принципах искусственного интеллекта. Кроме того, смарт-акустика Baidu Raven R умеет и «танцевать» в такт звучащей из её динамика музыке. 

Как и предшественник, Raven R оснащается сенсорным матричным дисплеем с аналогичным методом принципов фиксации. 

Baidu Raven H уже доступна для заказа в Китае. Её стоимость там составляет примерно $256. Танцующая смарт-акустика Raven R в продажу ещё не поступила — стать её владельцем удастся не ранее 2018 года. В ходе недавнего интервью генеральный директор Teenage Engineering отметил, что цена Baidu Raven R окажется в диапазоне $500–$600.

Управление США по патентам и торговым маркам (USPTO) опубликовало весьма любопытную патентную заявку Samsung на очередную разработку в компьютерной сфере.

В документе речь идёт об «Электронном устройстве, использующем электромагнитное поле для обеспечения пользовательского ввода» (Electronic Device Using Electromagnetic Field For User Input). Заявка на регистрацию соответствующего изобретения была подана в июне нынешнего года.

Южнокорейский гигант предлагает расширить возможности тачпада в портативных компьютерах. Предполагается, что такая панель сможет распознавать бесконтактные жесты. Иными словами, пользователь сможет отдавать те или иные команды за счёт взмахов ладони или пальцев над поверхностью тачпада.

С технической точки зрения система будет полагаться на регистрацию колебаний электромагнитного поля. Тачпад с поддержкой бесконтактного жестового управления может быть размещён под клавиатурой или над ней.

Теоретически при помощи взмахов руки в воздухе пользователи смогут выполнять такие действия, как пролистывание страниц документа или смена фотографий, переключение треков в мультимедийном плеере и пр.

К сожалению, о возможных сроках практической реализации предложенного решения пока ничего не сообщается. 

Роботы способны на многое: жарить бургеры в закусочной, разливать напитки гостям бара, брать на себя роль консьержа или интерактивного информационного стенда. Однако монотонная и низкоквалифицированная работа вовсе не означает, что роботы не способны проявить себя в настоящем искусстве. Здесь сразу на ум приходит автоматизированное устройство от Honda, игравшее на скрипке, или же робот-актёр Thespian. Музыкальным талантом отметилась и робот YuMi, местом демонстрации способностей которого стал концертный зал Театра Верди в Пизе.

www.metro.us

YuMi — детище инженеров ABB и первый в мире робот, способный слаженно управлять двумя «руками-манипуляторами». Чтобы раскрывать заложенный в устройство потенциал, разработчики поставили перед собой весьма непростую задачу. Их YuMi должен не просто сыграть на музыкальном инструменте, а взять на себя управление нескольких десятков живых музыкантов. Таким образом YuMi сменил амплуа и переквалифицировался из робота, ориентированного на промышленные задачи, в дирижёра настоящего оркестра. 

В ходе благотворительного концерта на Первом международном фестивале робототехники YuMi координировал действия целого оркестра во главе с итальянским тенором Андреа Бочелли (Andrea Bocelli). И справилась машина с поставленной задачей на отлично. 

Студенты Университета Антверпена, расположенного в Бельгии, разработали роботизированную руку, которая может переводить речь в жесты. Своё изобретение, названное ASLAN (Antwerp’s Sign Language Actuating Node), молодые учёные адресовали слабослышащим и глухим людям, а спонсором разработки выступил Европейский институт отоларингологии.

Конечно, на данном этапе ASLAN не в состоянии заменить сурдопереводчика, но это и не является целью проекта. Авторы позиционируют его как вспомогательное средство, которое окажется полезным в тех случаях, когда возможность воспользоваться услугами профессионала, владеющего языком жестов, отсутствует. Устанавливать роботизированную руку-переводчика можно, к примеру, в залах суда или учебных аудиториях.

Первый прототип ASLAN состоит из 25 напечатанных на 3D-принтере деталей, 16 сервомоторов, 3 контроллеров и Arduino-совместимой платы. На его сборку было потрачено порядка 10 часов, тогда как разработка длилась целых три года. Быстрота изготовления и доступность компонентов особенно важны, ведь в будущем изобретатели хотят сделать свой проект открытым, чтобы любая желающая компания могла наладить массовый выпуск подобного оборудования.

Но, несмотря на достигнутый результат, работа над ASLAN ещё далека от завершения. Следующим этапом его развития предполагается добавление второй руки для повышения скорости общения и внедрение возможности обучать робота новым жестам посредством веб-камеры.

Добавление поддержки технологии отслеживания взгляда в последние сборки будущего осеннего обновления Windows 10 Fall Creators Update было хорошо воспринято общественностью, но функция требует наличия определённых аппаратных решений, которые не очень хорошо совмещаются с планшетами или ноутбуками, потому что требуют размещения перед ПК.

Впрочем, если судить по одному из патентов Microsoft, компания рассматривает способ преодоления этих неудобств и интеграции поддержки технологии отслеживания глубины, жестов и взгляда в свои планшеты Surface Pro. Описывается идея модуля, использующего коннекторы клавиатуры Surface для питания и передачи данных и при этом надёжно закрепляемого с помощью магнитов.

В свою очередь модуль наделяется слотами для клавиатуры Surface, выступая своеобразным переходником, не мешающим нормальному взаимодействию с устройством. Наклон камер выбран так, чтобы отслеживать движения рук пользователя в области над клавиатурой, а угол обзора задуман достаточный для распознавания лиц. Основная новация в аксессуаре — модульность и уникальное подключение к планшету.

Одним из изобретателей запатентованного решения выступает Кфир Кармон (Kfir Karmon), руководящий проектом Prague Lead и являющийся управляющим инженером в Лаборатории продвинутых технологий Microsoft. Проект Prague позволяет разработчикам приложений добавлять поддержку базовых жестов рук без особых сложностей, а также с небольшими усилиями создавать собственные жесты. Вот посвящённый ему старый ролик:

Впрочем, пока не известно, собирается ли Microsoft реализовать идею описанного в патенте аксессуара на практике, или же при желании просто интегрирует необходимые аппаратные модули в новый планшет или ноутбук Surface.

Собственную VR-гарнитуру, предлагающую контролировать полёт дрона посредством движений головой, компания DJI продемонстрировала ещё в прошлом году во время презентации квадрокоптера Mavic Pro. Однако технические подробности о фирменном шлеме виртуальной реальности стали достоянием общественности только сейчас.

Новинка от DJI получила название «Goggles» и ценник в $449. За обозначенную сумму владелец устройства получит не только доступ к развлекательному контенту виртуальной реальности, но и инструмент для маневрирования беспилотником при помощи соответствующих движений головой.

Наклоны головы из стороны в сторону могут сопровождаться как поворотом камеры на заданный угол, так и корректировкой траектории полёта БПЛА. Разработчики DJI Goggles предлагают несколько режимов эксплуатации, позволяя обладателю шлема самостоятельно выбрать ответную реакцию системы на его покачивания головой. 

В основе шлема DJI Goggles лежат два 5-дюймовых экрана с разрешением Full HD. Сенсорная панель вместе с механическими клавишами носимой электроники обеспечат быстрый доступ к настройкам и интуитивно понятную навигацию в программной среде. На корпусе VR-гаджета разместился разъём для подключения наушников, слот для карт microSD, интерфейсы HDMI и Micro-USB. Видеотрансляция с камеры квадрокоптера доступна в формате 720p при 60 к/c, в формате 720p при 30 к/c или с разрешением 1080p при 30 к/c. 

Полного заряда аккумуляторной батареи DJI Goggles ёмкостью 9440 мА·ч хватит примерно на шесть часов непрерывного использования устройства. В спецификации к Goggles заявлена поддержка следующих квадрокоптеров Mavic Pro, Phantom 4 и моделей серии Inspire. 

При выборе режима 720p с 60 к/c минимальная задержка составит 110 мс, если транслировать картинку с Mavic Pro, а максимальная (параметры видео остаются без изменений) может составить 190 мс при работе с дронами семейства Inspire.  Продажи DJI Goggles стартуют в конце мая текущего года. 

Наборы для разработчиков, созданные в рамках проекта Google Project Soli, станут доступны уже в текущем году, о чём сообщают сетевые источники.

Инициатива Project Soli предусматривает создание передовой системы жестового управления. Использовать её планируется в самых разнообразных устройствах — от «умных» наручных часов до игровых приставок.

Главным элементом системы является крошечный радар миллиметрового диапазона. Такое решение будет обладать небольшим энергопотреблением и высокой точностью считывания движений пальцев и кистей рук на расстоянии.

В текущем виде размеры сенсора составляют всего 10 × 8 мм. Изделие не имеет подвижных частей, нечувствительно к освещённости и может осуществлять сканирование через различные материалы.

Появление наборов Google Project Soli для разработчиков позволит сторонним исследователям приступить к созданию коммерческих решений на основе новой платформы. Предполагается, что мини-радар для систем жестового управления будет особенно востребован в сфере виртуальной и дополненной реальности. Кроме того, изделие найдёт применение в области Интернета вещей, автомобильной промышленности, игровом сегменте и пр. 

Netflix регулярно проводит мероприятие Hack Day, во время которого разработчики компании могут отвлечься от ежедневной рутины, чтобы провести творческий досуг с коллегами, экспериментируя с новыми технологиями или работая над весёлыми изобретениями. В январе одна из таких разработок оказалась практичнее других.

В данном случае нашёл применение головной обруч Muse компании InteraXon, получившей в 2013 году $6 млн инвестиций на развитие технологии управления путём измерения активности головного мозга методом энцефалограммы. Предполагалось, что данная разработка сможет найти довольно широкое применение в носимых устройствах вроде Google Glass или Microsoft HoloLens, да и в качестве самостоятельного аксессуара для простейших манипуляций на ПК.

В действительности устройство Muse стоимостью $250 сегодня продвигается в качестве продвинутого средства медитации.

В коротком видеоролике MindFlix демонстрируется навигация по интерфейсу службы Netflix «с помощью мысли». И это, стоит признаться, далеко не похоже на взаимодействие посредством одного лишь разума. Совершенно очевидно, что в данном случае приходится совершать механические действия головой, считать которые мог бы простейший браслет с акселерометром. Вряд ли пользователям понравится крутить головой вместо того, чтобы использовать привычный пульт. Конечно, технология может найти применение как средство реабилитации, но уж точно не в роли успешного массового продукта. Во всяком случае, в текущем виде. 

Даже проект Picture-in-Picture выглядит гораздо более занимательным — он предоставляет возможность увидеть миниатюры видео, которые просматриваются в текущий момент на других профилях общего аккаунта, легко переключиться на них и обратно — это может быть интересно как средство родительского контроля.

Или Netflix For Good, предлагающий зрителям после просмотра социальной рекламы внести пожертвования известным благотворительным организациям.

Все эти эксперименты вряд ли получат дальнейшее развитие, но некоторые особо интересные идеи Netflix иногда доводит до коммерческой реализации. Как в случае с набором для носков, автоматически ставящим видео на паузу, если пользователь уснул. Ознакомиться с прочими идеями Hack Day Winter 2017 или более ранних мероприятий можно в блоге Netflix.