В Барселоне Microsoft представила гарнитуру дополненной реальности HoloLens 2, но компания анонсировала там же, на MWC 2019, ещё один любопытный продукт, который призван возродить марку Kinect. Напомним, экспериментальная камера Xbox Kinect, позволявшая управлять играми с помощью набора сенсоров движений и микрофонов, была предшественницей гарнитуры HoloLens и умерла в 2017 году.

Но теперь наряду с HoloLens 2 был представлен новый набор разработчиков Azure Kinect. Это периферийное устройство для ПК, способное подключаться к облаку для использования в задачах, связанных с машинным зрением, без использования компьютера. Комплект разработчика можно заказать уже сейчас за $400, что составляет девятую часть стоимости гарнитуры HoloLens 2, продаваемой за $3500. Для Microsoft эти два продукта являются частью одной экосистемы.

Решение Azure Kinect впервые было анонсировано в прошлом году на конференции Microsoft Build. По словам Microsoft, на борту находится такой же продвинутый датчик глубины time-of-flight, который разработан для HoloLens 2, а также массив из семи микрофонов для улучшенного распознавания речи.

Медицинская компания Ocuvera, как было заявлено на презентации, уже использует Azure Kinect для оповещения персонала в случае падения пациентов в госпиталях. Впрочем, решение может применяться для любых задач пространственного сопоставления или для реализации технологий машинного зрения на предприятиях.

Технический руководитель Microsoft Алекс Кипман (Alex Kipman), который руководит разработками Kinect и HoloLens, недавно отметил: «В своё время публика не оценила использование устройств вроде Kinect в гостиных и в сфере развлечений. Но посмотрите сегодня на Alexa — что делают эти умные устройства? Они узнают людей, они распознают речь. Они делают много вещей, которые Kinect умела ещё в 2010 году.

Зато Kinect всё активнее используется для решения различных задач на предприятиях. Нагрузки, которые люди пытаются применять в бизнесе, как правило, напрямую связаны с облаком. Там не удобно иметь посредника в виде ПК. Именно поэтому мы свернули работу над Kinect для Windows, а сейчас запустили Azure Kinect, который по-прежнему может быть подключён к ПК в качестве периферии, но также умеет подключаться напрямую к нашему облаку в качестве устройства Интернета вещей».

Согласно данным Пола Туррота (Paul Thurrot), Microsoft разрабатывает несколько моделей веб-камер для Windows 10, причём некоторые будут поддерживать 4K, а как минимум одна из них обзаведётся совместимостью с Xbox One. Все они создаются с прицелом на технологию разблокировки по лицу Windows Hello, а камера для игровой консоли сможет предложить вход в аккаунт Xbox One через распознавание лица по аналогии с Kinect.

В то же время перспективная веб-камера для Xbox One не обязательно придёт на замену ныне несуществующему Kinect, поскольку вряд ли сможет обеспечить необходимую глубину восприятия. Но она наверняка позволит игрокам использовать многие приложения и функции вроде Skype или распознавания лиц, которые незаметно потеряли актуальность, когда Microsoft прекратила производство своего прошлого устройства с поддержкой управления при помощи захвата движений.

На данный момент речь идёт лишь о слухах, и сейчас неясно, будут ли камеры доступны в качестве самостоятельной периферии или будут поставляться в комплекте с другим оборудованием Microsoft. К тому же непонятно, существует ли заметный спрос на совместимую с Xbox One веб-камеру, а также на функции консоли, которые Microsoft может предложить в этой области.

Kinect был самым продаваемым устройством бытовой электроники в истории после запуска в 2010 году, но ажиотаж спал, поддержка уменьшилась и в конечном итоге вообще прекратилась после злополучного решения Microsoft сделать Kinect обязательной частью каждой проданной консоли Xbox One, что привело к повышению стоимости игровой системы и недовольству игроков. После октября 2017 года Microsoft больше не производила эту камеру.

Microsoft больше не выпускает адаптеры Kinect — USB-аксессуары для подключения сенсорного игрового контроллера к консолям Xbox One S и Xbox One X, а также к компьютерам на Windows 10. «После тщательного рассмотрения мы решили прекратить производство Xbox Kinect Adapter и сосредоточиться на новых, более востребованных среди фанатов игровых аксессуарах для Xbox One и Windows 10», — рассказал представитель компании.

Первый намёк на то, что Microsoft собирается перестать выпускать адаптеры, появился ещё в 2016 году. Тогда редмондский гигант выпустил Xbox One S без специального порта для прямого подключения Kinect. На протяжении восьми месяцев после выхода консоли компания бесплатно предлагала USB-адаптер обладателям контроллера при переходе с Xbox One на новую версию приставки. В марте 2017 года Microsoft закрыла предложение и не вернула его с запуском Xbox One X, который состоялся в ноябре.

В апреле 2017 года Microsoft отметила, что адаптер всё ещё можно купить за $40. Но последние несколько месяцев его не было в продаже ни в официальном магазине компании, ни в сетях вроде Amazon, Best Buy и GameStop. Из-за этого цены на аксессуар у сторонних продавцов взлетели примерно до $300.

Без Kinect невозможно поиграть в некоторые проекты для Xbox One, поэтому к выходу Xbox One X Microsoft выпустила обновлённые издания ряда игр, не требующие наличия специальной камеры. Среди них оказались Disneyland Adventures, Rush: A Disney-Pixar Adventure и Zoo Tycoon.

Интерфейс консоли не поддерживал жестовое управление через Kinect с ноября 2015 года. Для голосового управления, если не считать одной команды Cortana, устройство не требуется — достаточно обычного микрофона. Представитель компании добавил, что в прошлом октябре на Xbox One появилась поддержка USB-веб-камер, которые можно использовать для стриминга через Mixer и общения по Skype.

В октябре 2017 года Microsoft официально свернула производство и самого Kinect.

Компания Microsoft приняла решение свернуть выпуск контроллеров Kinect. По крайней мере, об этом сообщает ресурс Fast Co Design, ссылаясь на информацию, полученную от сотрудников редмондского гиганта.

Устройство Kinect, напомним, создавалось в рамках инициативы Project Natal. Гаджет получил датчики глубины, видеокамеру и массив микрофонов. Контроллер способен регистрировать голосовые команды, движения тела пользователя и даже мимику его лица.

Изначально Kinect был представлен для игровой консоли Xbox 360: произошло это ещё в 2009 году. В продажу на потребительском рынке устройство поступило в ноябре 2010 года. Позднее Microsoft создала версии контроллера для приставки Xbox One и персональных компьютеров под управлением Windows.

С момента выхода Kinect по всему миру было реализовано около 35 млн этих контроллеров. Однако в последнее время интерес к устройству стал угасать. Поэтому Microsoft, как отмечается, прекратила производство гаджета. После того как магазины распродадут имеющиеся запасы, Kinect, вероятно, больше не будет предлагаться в его нынешнем виде.

Нужно отметить, что реализованные в Kinect технологии во многом стали прорывными. Идеи, положенные в основу устройства, нашли применение в ряде других продуктов. Это очки Microsoft HoloLens, система Windows Hello, шлемы смешанной реальности Windows Mixed Reality и пр. 

Apple может оснастить iPhone 8 значительно усовершенствованной передней камерой, сообщил аналитик KGI Securities Мин-Чи Куо (Ming-Chi Kuo). В его отчёте говорится, что новый смартфон получит «революционную» камеру и инфракрасный модуль для захвата трёхмерного пространства.

Аналитик пишет, что благодаря новым компонентам iPhone 8 сможет совмещать информацию о трёхмерном пространстве с двухмерными снимками, сделанными с помощью фронтальной камеры, а приложения смогут использовать эти данные для распознавания лица и радужной оболочки глаза и создания 3D-селфи.

Также, по словам Куо, фронтальная трёхмерная камера может использоваться в инновационных играх, в которых, например, голову персонажа можно будет заменить точной моделью головы пользователя. А вышеупомянутые селфи можно будет использовать в режиме дополненной реальности.

Аппаратная начинка смартфона задействует алгоритмы израильской компании PrimeSense, купленной Apple в 2013 году и являющейся автором Kinect для Xbox. Предполагается, что специальный сенсор сможет определять расположение и глубину захватываемых объектов — что-то похожее в зачаточной форме реализовано благодаря двум задним камерам в iPhone 7 Plus.

Куо говорит, что трёхмерная камера iPhone 8 будет куда более продвинутой благодаря отдельным инфракрасным передатчику и приёмнику. Первый, предположительно, задействует поверхностно-излучающий лазер с вертикальным резонатором от Lumentum, а второй будет выпускаться Foxconn. Производителем самой камеры выступит Sony. 3D-система будет отправлять невидимые инфракрасные сигналы из телефона и захватывать сигналы, отражающиеся от объектов, с помощью инфракрасного приёмника.

Оглядываясь на 2017 год, аналитик KGI Securities предполагает, что новые iPhone обзаведутся и задними трёхмерными камерами. По его словам, Apple на несколько лет обгоняет производителей Android-смартфонов в плане 3D-алгоритмов, благодаря чему iPhone ещё долгое время сможет хвастаться уникальной функцией. 

Данные берутся из публикации Обзор игровой консоли Xbox One S

Игры и развлечения нужны не только людям. В рамках специального экспериментального проекта, организованного в австралийском зоопарке Мельбурна, орангутанов развлекают с помощью устройства Xbox Kinect. Исследователи таким образом пытаются понять, как подобные технологии могут использоваться в обучении и развлечении обезьян.

Mashable

Авторы исследования отмечают, что это первый проект такого рода. Разработана простая игра Zap, которая с помощью Kinect проецирует красную точку на поверхность. При касании эта точка расширяется и разрывается на частички. Подопытной обезьянке такая забава понравилась. Планируется разработать ещё несколько игр с использованием Kinect.

Mashable

Как отмечают сотрудники зоопарка Мельбурна, животные большинство времени грустят в заключении, и это отрицательно отражается на их здоровье и самочувствии. Это нужно не только для развлечений, но и для взаимодействия обезьян с окружающими. Ранее уже проводились эксперименты с планшетами, но обезьяны быстро их ломали. Использование бесконтактных технологий наподобие Kinect выглядит гораздо перспективнее. 

Корпорация Microsoft проектирует инновационную систему видеосвязи под названием Room2Room, которая, как ожидается, сможет обеспечить реалистичный эффект присутствия удалённых собеседников в одном помещении.

В текущем виде комплекс полагается на контроллеры Kinect, проекторы и специализированное программное обеспечение. Система захватывает изображение одного из собеседников и проецирует его в помещении, в котором находится другой. Утверждается, что участники беседы получают возможность видеть друг друга в натуральную величину в корректном ракурсе, в том числе при перемещении по комнате.

Для оценки эффективности работы комплекса семи парам добровольцев было предложено собрать из блоков трёхмерные объекты. При этом один из собеседников находился в помещении с собственно блоками, а другой — давал удалённые инструкции.

Как выяснилось, на выполнение задания в случае системы Room2Room у участников эксперимента ушло 7 минут. Для сравнения: при использовании видеочата Skype на это потребовалось 9 минут, а при выполнении работы лицом к лицу — 4 минуты.

Но, отмечает Microsoft, пока система не готова для вывода на коммерческий рынок. В частности, исследователям предстоит повысить разрешение проекций, а также уменьшить габариты аппаратной части платформы. 

Идею использования отраженных радиоволн для возможности видеть предметы и людей сквозь стены нельзя назвать новой. В нашей новостной ленте мы рассказывали о нескольких таких устройствах. Среди недавних сообщений можно выделить разработку симферопольской компании ЭМИИА, которая позволяет «видеть» движение людей, животных, жидкостей и других объектов сквозь стены. Собственное изобретение с именем RF-Capture представили также учёные из Массачусетского технологического института (MIT).

MIT

Как отмечается в научной работе «Capturing the Human Figure Through a Wall», системы для захвата движений объектов сквозь препятствия можно поделить на две категории. Традиционные радарные системы высокой частоты (такие как терагерцовые сканеры безопасности в аеропортах) способны захватывать изображения с высокой степенью детализации. Но их недостатками являются большие габариты, очень малый радиус действия и неспособность «видеть» через толстые препятствия, такие как стены. Вторую категорию представляют устройства, использующие сантиметровые волны. Именно такие системы представляют набольший интерес для разработчиков. С их помощью можно захватывать изображения объектов сквозь препятствия на больших расстояниях.

MIT

По утверждению изобретателей из MIT, их устройство по детализации картинки превосходит все аналогичные решения. Большинство решений, работающих в сантиметровом диапазоне, могут определять объекты лишь как точку, которая перемещается в пространстве. Системы, позволяющие «видеть» силуэты и различать разные части тела, требуют больших антенн, которые превосходят по размеру сам наблюдаемый объект. Устройство RF-Capture по габаритам примерно в два раза больше Kinect. Оно позволяет даже различать наблюдаемых за стеной людей (пока в экспериментах удалось идентифицировать людей в группе из 15 человек). Интересным применением может стать также способность RF-Capture распознавать жесты человека. Устройство делает это почти с такой же точностью, что и Kinect, и это притом, что Kinect работает только при прямой видимости.

В общем, лучше один раз увидеть, чем читать. Смотрите видео.

Microsoft считается одним из пионеров в разработке систем, отслеживающих движение, в первую очередь благодаря устройству Kinect. Несмотря на существенный прогресс в этой области за последние годы, цифровая техника пока что не может с достаточной точностью определить жесты, которые люди могут делать с помощью рук.

По мнению сотрудников исследовательского центра Microsoft Research, им удалось совершить существенный прорыв в данной области, разработав технологию Handpose. Данная система позволяет точно определить и интерпретировать любое движение руки с помощью камеры.

Отслеживания действий рук является очень сложной задачей по сравнению с отслеживанием положения тела человека в целом. Рука имеет намного меньший размер, а её пальцы и кисти являются очень гибкими, поэтому их действия сложно интерпретировать.

Handpose точно следит за заданным объектом, быстро восстанавливая фокус, даже если рука на время покинула поле зрения. В Microsoft подчёркивают, что новой системе не нужно держать объект на определённом расстоянии от камеры. Пользователь может, например, ходить по комнате в очках дополненной реальности HoloLens, взаимодействуя при этом с компьютером с помощью жестов.

Если добавить к этому поддержку голосовых команд с помощью ассистента Cortana, выстраивается система, при которой человеку не требуется использовать классические средства ввода, такие как мышка и клавиатура.

Помимо применения c HoloLens система Handpose также откроет новые возможности для авторов игр и различных интерактивных приложений.

Корпорация Microsoft сообщила о прекращении выпуска и продаж Kinect for Windows v2 — специализированной версии контроллера, предназначенной для использования с персональными компьютерами под управлением операционных систем Windows.

Редмондский гигант отмечает, что Kinect пользуется большой популярностью среди разработчиков Windows-приложений. На некоторых рынках Microsoft даже столкнулась с трудностями по удовлетворению спроса. Поэтому для унификации и упрощения растущей экосистемы Kinect было решено отказаться от производства отдельной версии контроллера для ПК.

Вместо Kinect for Windows v2 стоимостью $200 разработчикам теперь предлагается приобретать обычный контроллер для игровой приставки Kinect for Xbox One за $150 и 50-долларовый переходник с USB-интерфейсом Kinect Adapter for Windows. Кроме того, доступен 200-долларовый комплект Kinect for Windows Developer Bundle, в который входят и контроллер, и адаптер. Таким образом, стоимость набора никак не изменилась по сравнению с ранее предлагавшейся Windows-версией.

Поскольку в техническом плане контроллеры одинаковы, никаких изменений при создании Windows-приложений не произойдёт. Разработчикам для написания программ доступен набор средств Kinect for Windows Software Development Kit 2.0. Использовать контроллер можно с персональными компьютерами под управлением Windows 8.0 и 8.1. 

Корпорация Microsoft представила аксессуар Kinect Adapter for Windows, при помощи которого контроллер Kinect for Xbox One можно подключить к компьютеру на базе Windows.

Редмондский гигант, напомним, уже предлагает специальную версию Kinect, рассчитанную на использование с персональными компьютерами. Устройство Kinect for Windows v2 Sensor предлагается за $200.

Новый адаптер предназначен для тех, у кого уже имеется консоль Xbox One и предназначенный для неё вариант Kinect. При помощи адаптера контроллер можно подсоединить к десктопу, ноутбуку или планшету на базе Windows 8.0 или Windows 8.1. При этом необходимо наличие порта USB 3.0. Отмечается, что функциональность контроллера ничем не будет отличаться от возможностей Kinect for Windows v2 Sensor. Стоит адаптер около $50.

Кроме того, корпорация Microsoft объявила о доступности набора для разработчиков Kinect SDK 2.0. Этот комплект позволяет создавать приложения для Kinect, отслеживающие одновременно до шести пользователей. Усовершенствованные инструменты дают возможность создавать различные фитнес-приложения. Систему можно использовать в помещениях небольшого размера.

Загрузить набор Kinect SDK 2.0 можно отсюда. 

Портал Unseen64, публикующий истории о не увидевших свет видеоиграх, поделился информацией об отменённом Saints Row: The Cooler — экшене, управление которым осуществлялось бы посредством контроллеров движений.

Разработка проекта началась в 2010 году для PlayStation 3 и Xbox 360. Предполагалось, что управлять главным героем можно будет исключительно с использованием Move или Kinect. Созданием игры занималась студия Heavy Iron, которая ранее разработала сборник упражнений UFC Personal Trainer: The Ultimate Fitness System. Один из создателей The Cooler, пожелавший остаться анонимным, описал проект так: «Заходите в бар, затеваете драку, разбиваете бутылки о головы посетителей. Игрок должен осуществлять удары, ставить блок, уклоняться — всё, что он делает перед Kinect или с Move в руках, передаётся на экран».

Спустя шесть месяцев после начала разработки издатель THQ, владевший тогда правами на серию Saints Row, закрыл проект. Сейчас серия находится в руках издательства Deep Silver. В следующем году на PC, PS3, PS4, Xbox 360 и Xbox One выйдет самостоятельное дополнение к четвёртой части — Saints Row: Gat Out of Hell, а на консолях нынешнего поколения появится переиздание Saints Row 4: Re-Elected.

Корпорация Microsoft продемонстрировала интерактивную систему RoomAlive, выводящую видеоигры на качественно новый уровень.

RoomAlive — это дальнейшее развитие проекта IllumiRoom. Напомним суть технологии IllumiRoom: к консоли подключается специальный проектор, который расширяет границы дисплея телевизора или монитора. Всё основное игровое действие разворачивается на традиционном экране, а на стенах в это время воспроизводятся дополнительные визуальные эффекты — например, вспыхивают взрывы или отображаются текстуры. Это усиливает впечатления от игрового процесса.

Система RoomAlive, в свою очередь, позволяет превратить обычную комнату в игровую площадку дополненной реальности. На стенах и полу могут отображаться виртуальные персонажи и различные объекты, взаимодействовать с которыми пользователь может руками или посредством специальных контроллеров — скажем, в виде оружия. Благодаря RoomAlive помещение как бы оживает, превращаясь в лес, космический корабль или заброшенную фабрику. Игроки могут перемещаться по комнате, что создаёт полный эффект присутствия.

Технически система RoomAlive реализована на основе нескольких проекторов, контроллеров Kinect и вычислительного блока. Комплекс способен автоматически выполнять калибровку и рассчитывать геометрию помещения. Система отслеживает положение пользователей и нужным образом подстраивает проецируемое изображение. Вот как RoomAlive выглядит в действии: 

Корпорация Microsoft представила необычную интерактивную систему Cube, демонстрация которой состоялась в Сиэтле (Вашингтон, США) на мероприятии Decibel Festival, посвящённом электронной музыке и визуальным эффектам.

Cube — это установка кубической формы с длиной ребра около 1,2 метра, смонтированная на подставке высотой 60 см. Роль боковых панелей играют проекционные экраны, на которых формируется цветное изображение.

Внутри Cube расположен мощный вычислительный узел с пятью компьютерами. Работа системы основана на использовании четырёх контроллеров Kinect, которые отслеживают положение и движения находящихся поблизости людей. Куб может контролировать действия трёх человек с каждой стороны.

Интерактивная система Microsoft способна воспроизводить визуальные эффекты в такт музыке, а также копировать движения находящихся рядом людей, виртуальные фигуры которых выглядят сформированными из множества небольших кубиков.

Ниже можно посмотреть видео с демонстрацией Cube в действии: