Microsoft Research выпустила ещё одно видео с ранее уже демонстрировавшейся продвинутой тростью с тактильной отдачей, которая позволяет ориентироваться в виртуальной реальности людям с нарушениями зрения.

Контроллер имитирует настоящую трость, которой пользуются слепые, поэтому он подходит для большого числа слабовидящих, уже обученных обращению с тростью. Устройство открывает для людей с проблемами зрения вход в виртуальное пространство: оно способно моделировать навигацию в больших виртуальных средах со сложной архитектурой, такой как извилистые дорожки, а также пространства с перегородками и дверьми.

Контроллер трости использует лёгкий трёхосный механизм тормоза, который останавливает трость при соприкосновении с виртуальными объектами, позволяя передавать их масштаб и форму. Несколько степеней свободы позволяют пользователю адаптировать контроллер к своим предпочтениям и хвату. Кроме того, текстуры поверхности передаются посредством виброотклика, который различается для разного типа поверхностей. Помогает навигации и пространственный звук, вычисляемый на основе движения звуковых волн в виртуальном пространстве и передаваемый на наушники пользователя.

Microsoft Research проверила удобство использования трости с помощью игры, посвящённой поиску мусора. Семь из восьми пользователей смогли успешно перемещаться по виртуальной комнате (6 × 6 м), верно определяя объекты и избегая столкновений. Microsoft отметила, что созданный инструмент также можно использовать для обучения пользователей с нарушениями зрения в безопасной виртуальной среде перед тем, как они будут оттачивать свои навыки уже в реальном мире.

Microsoft разрабатывает и другие необычные контроллеры для виртуальной реальности, а также выпустила приложение, которое помогает слепым перемещаться по улицам города.

В некоторых случаях обнаружение рака с помощью технологий машинного обучения может быть более чем удобным и стать ключом к постановке диагноза. Microsoft и SRL Diagnostics разработали инструмент ИИ, который помогает выявлять рак шейки матки, освобождая врачей в Индии и других странах, где большой проблемой является огромное количество пациентов на отдельного врача.

Команда исследователей из Microsoft Research обучила нейросеть определять признаки рака на основе тысяч аннотированных изображений цитологических мазков, чтобы помочь ИИ выявить аномалии (в сравнении с примерами тех же ПАП-тестов до рака), которые требуют более пристального взгляда.

Ариндам Халдар (Arindam Haldar), исполнительный директор SRL Diagnostics

После этого врачам нужно только посмотреть выявленные проблемные анализы, чтобы подтвердить действительность предпосылок или наличия рака. Платформа для использования ИИ уже готова для внутреннего предварительного применения в SRL Diagnostics. Хотя технология ещё не используется широко, она уже значительно лучше, чем другие методы диагностики рака на основе ИИ, которые обычно существуют лишь в виде экспериментов.

Отсканированная цифровая версия слайда Whole Slide Imaging (WSI), используемая для обучения модели ИИ

Имеет смысл развернуть применение этого метода мониторинга как можно быстрее и шире в Индии. Примерно 67 000 женщин умирают от рака шейки матки в Индии каждый год — это более четверти смертей во всём мире от данной болезни. В то же время в стране имеется лишь ограниченное количество врачей, которые могут работать с мазками Папаниколау и помогать женщинам бороться с недугом. Одна лишь SRL Diagnostics проводит 100 000 ПАП-тестов в год, и 98 % из этого количества относятся к здоровым людям. ИИ позволит врачам сосредоточить внимание только на двух процентах проблемных образцов и помочь женщинам приступить к лечению на ранних стадиях.

Исследовательское подразделение Microsoft продемонстрировало новые контроллеры для дополненной и виртуальной реальности. Пока это экспериментальные проекты, но они уже показывают, насколько более полезными и интересными можно сделать AR- и VR-технологии.

Самый гибкий из представленных контроллеров называется CLAW. Это сжимающееся устройство наподобие пистолета, которое позволяет брать и держать в руках виртуальные предметы и, благодаря тактильной обратной связи, чувствовать их мягкость и текстуру. Контроллер способен обнаруживать разницу между случаем, когда предмет берёт пользователь, и «ситуационным контекстом виртуальной сцены».

Другими словами, CLAW, в зависимости от того, как вы его держите, передаёт ощущения от прикосновения; сопротивление, препятствующее прохождению сквозь предмет; и слабые вибрации, симулирующие текстуру. Всё это становится возможно благодаря моторизированной руке и звуковой катушке.

Второй контроллер, Haptic Links, нужно держать в двух руках. С помощью него можно производить как банальные действия — например, переносить ящики и держать перфоратор, — так и более сложные вроде игры на тромбоне и маракасах.

Haptic Links «динамически изменяет силы, воспринимаемые руками пользователя, для воспроизведения различных двуручных объектов и действий». Исследователи создали три версии контроллера, по-разному управляющие напряжением и степенями свободы. Каждая из них годится для разных задач.

Наконец, Microsoft ещё раз показала Canetroller — контроллер-трость для слепых. В виртуальном мире благодаря носимой программируемой тормозной системе устройство останавливается, когда упирается в предметы. Контроллер вибрирует, когда пользователь водит им по земле. Всё это дополняется соответствующими звуками.

Сотрудники исследовательского подразделения Microsoft Research показали любопытную концепцию под названием MeetAlive, которая даёт представление о переговорных комнатах будущего.

Идея заключается в том, чтобы превратить стены помещения в интерактивные рабочие поверхности, взаимодействовать с которыми можно с помощью жестов или взгляда. Для этого предлагается задействовать особую систему из проекторов и камер, которая будет отвечать за формирование изображения и регистрацию действий пользователей.

Аппаратные составляющие платформы MeetAlive закрепляются под потолком в переговорной комнате. При этом разработанное в Microsoft Research программное обеспечение превращает отдельные проекции в единое рабочее пространство. Кроме того, оно может учитывать направление взгляда участников встречи, чтобы выводить картинку туда, где её увидят все пользователи.

Каждый из собравшихся может использовать MeetAlive для вывода информации со своего компьютера, а также управлять системой при помощи курсора мыши, который свободно переходит между экраном ноутбука и стенами комнаты, или жестового ввода.

Пока система MeetAlive представляет собой экспериментальную разработку. О возможных сроках её вывода на коммерческий рынок ничего не сообщается. 

Microsoft Research разработала необычную технологию GlassHands, которая позволяет управлять мобильным устройством, водя пальцем по поверхности или в воздухе. Никакое дополнительное оборудование пользователю не требуется — достаточно надеть обыкновенные солнцезащитные очки.

Захват движений руки осуществляет фронтальная камера смартфона или планшета — она отслеживает отражение в очках. Благодаря этому область распознавания технологии становится заметно шире, чем если бы человек использовал просто камеру мобильного устройства.

Пока технология является концепцией. Её развивает команда исследователей Microsoft под предводительством Эяла Офека (Eyal Ofek). Он и его коллеги предлагают несколько вариантов использования GlassHands.

Технология может быть полезна при работе с картами и чертежами. Раньше такое было возможно только при использовании дополнительных модифицированных устройств или больших сенсорных экранов. Теперь можно задействовать любую поверхность.

Система также пригодится, если управлять смартфоном пальцем неудобно — например, когда человек катается на лыжах. В таких ситуациях гораздо проще осуществлять действия на мобильном устройстве с помощью жестов в воздухе.

Microsoft Research выпустила приложение Path Guide, которое упрощает перемещение по незнакомым зданиям. Программа задействует датчики смартфона и не нуждается в дополнительных маячках. Пока приложение доступно только на Android.

Сервис работает по принципу краудсорсинга: вы можете использовать навигационные данные, добавленные другими пользователями, а можете добавлять свои маршруты. С помощью акселерометра смартфона Path Guide считает шаги, а с помощью магнитометра определяет область перемещения. GPS приложение не использует.

К примеру, маршрут в приложении позволит добраться от главного входа офисного здания до конференц-зала на 12 этаже. Чтобы добавить такой маршрут, человек должен войти в здание, запустить приложение и направиться к конечной точке. Когда другой пользователь захочет воспользоваться добавленной информацией, она уже будет обработана и дополнена навигационными элементами вроде «через 20 шагов поверните направо».

Автор маршрута может добавить заметки, фотографии и голосовые записи. Это, например, поможет пройти через двери, заблокированные паролями. Готовый путь по зданию можно отправить по почте человеку, у которого приложение не установлено.

Path Guide может быть полезно во многих случаях — начиная поиском какой-нибудь бренд-зоны в торговом центре и заканчивая ситуациями, когда у пользователя есть проблемы со зрением или пониманием языка на указателях.

Проект находится в разработке почти два года и по-прежнему является прототипом.

Квантовые вычислительные системы давно называются в качестве возможных преемников современных полупроводниковых. Microsoft Research много лет работает в этой области. Её расположенная в Санта-Барбаре Станция Q в университете Калифорнии изучает топологические квантовые вычисления.

Лаборатория включает учёных в области математики, физики и компьютерных наук и сотрудничает с академическими исследователями как непосредственно на месте, так и по всему миру. Цель — понять, как топологические фазы материи могут быть использованы для создания надёжной и масштабируемой вычислительной архитектуры.

В прошлом году Microsoft представила симулятор LIQUi|> (Language-Integrated Quantum Operations), который позволяет практически каждому заинтересованному человеку, имеющему современный ноутбук или настольный ПК, изучать возможности квантовых вычислений.

Теперь корпорация сообщила, что удваивает свои усилия в этой области. Microsoft уверенно делает ставку на возможность создания масштабируемого квантового компьютера на основе так называемых топологических кубитов (квантовых битов).

Руководитель из Microsoft Тодд Холмдал возглавит команду разработчиков квантовых систем и ПО

Возглавят этот исследовательский проект следующие ключевые руководители Microsoft:

• давний руководитель из Microsoft Тодд Холмдал (Todd Holmdahl), который в прошлом уже претворял в жизнь в качестве продуктов ряд на первый взгляд фантастических исследовательских проектов — он возглавит научные и инженерные инициативы, призванные создать масштабируемую аппаратную и программную квантовую систему;
• Чарльз Маркус (Charles M. Marcus) — профессор Института Нильса Бора при Университете Копенгагена и директор центра квантовых устройств, спонсируемого Датским национальным исследовательским фондом;
• Лео Ковенховен (Leo Kouwenhoven) — заслуженный профессор Делфтского технического университета Нидерландов, в прошлом — основатель и руководителя QuTech (исследовательского центра квантовых технологий);
• Маттиас Тройер (Matthias Troyer) — профессор Швейцарского федерального технологического института, специалист в области симуляций квантовых материалов, тестирования квантовых устройств, оптимизации квантовых алгоритмов и разработки ПО для квантовых компьютеров;
• Дэвид Рэйли (David Reilly) — физик-экспериментатор, профессор и директор Центра квантовых машин при Сиднейском университете Австралии, его команда физиков и инженеров работает над с проблемами масштабирования квантовых систем.

Профессора Лео Ковенховен и Чарльз Маркус во время посещении Станции Q на конференции Microsoft в 2014 году

Microsoft Research выпустила публичную версию продукта, направленного на решение проблемы понимания машинами естественного языка. Компания верит, что фоновые знания — один из ключевых моментов, отличающих в плане понимания языка людей от машин. База данных Probase, над которой редмондская компания работала на протяжении довольно долгого времени, стала основой для нового инструмента под названием Microsoft Concept Graph. Probase предоставляет доступ к 5,4 млн концептов, сильно обгоняя такие базы данных как, например, Cyc, которая может похвастаться лишь 120 тысячами концептов.

Цель всего этого — поддержка текстового анализа посредством объединения интерпретации и предположения. Очень похожим образом действуют люди, быстро отсеивая ненужную информацию для определения контекста. Например, при прочтении фразы «человек бежал от незнакомца с ножом» большинство, вероятно, представят человека, убегающего от вооружённого незнакомца. Однако эта фраза также может означать, что человек забрал у незнакомца нож и теперь убегает от него. Тем не менее, бег и нож ассоциируются со страхом, поэтому самая очевидная интерпретация этой фразы в данном случае преобладает над остальными.

Модель концептуального тегирования Microsoft тоже помогает определить контекст фразы. Нож, о котором идёт речь, может восприниматься и как посуда, и как оружие, но в данном контексте это, скорее всего, именно оружие, а не тупой нож для масла, украденный из музея.

Посуда и оружие — довольно распространённые категории, однако музейные экспонаты — это уже нечто более редкое. Модель Microsoft рассматривает наиболее вероятный и крайне маловероятный смыслы слова, учитывая атрибуты, отношения и контекст.

Последняя версия Microsoft Concept Graph способна определять релевантность слов в любом тексте. В будущем программа будет учитывать и «концептуализацию отдельных случаев с контекстом», что означает, что для определения смысла фразы между такими словами как «незнакомец» и «нож» будут устанавливаться связи. Дальше исследователи собираются работать с «концептуализацией короткого текста», расширяя, таким образом, возможности приложений в плане поиска, рекламы и функциональности искусственного интеллекта.

Так называемые флеш-татуировки, представляющие собой металлические узоры, украшают модниц уже не первый сезон. На этот тренд обратили внимание специалисты Массачусетского технологического института (MIT), которым пришла в голову идея добавить функциональности изящным рисункам на коже.

В результате MIT Media Lab совместно с Microsoft Research представила технологию DuoSkin, позволяющую создавать всё те же флеш-тату, только дополненные электроникой. Специалисты предлагают сразу три способа применения своего детища. Во-первых, «татуировки» могут выступать в роли устройства ввода данных и использоваться, скажем, для управления громкостью воспроизведения музыки на подключённом устройстве. Во-вторых, они, наоборот, могут служить для вывода информации, поскольку способны менять цвет в зависимости от температуры тела. В-третьих, они могут стать NFC-метками.

Примечательно, что технология DuoSkin проста и не требует больших затрат. Для изготовления татуировок нужны лишь графический редактор для разработки дизайна, режущий плоттер для создания гибкой электросхемы требуемой формы, сусальное золото и трансферная бумага.

При желании к узорам можно добавить несколько светодиодов и тем самым сделать их эффектнее. Специалисты MIT верят, что уже в скором времени устройства, произведённые по технологии DuoSkin, получат широкое распространение, и многофункциональные украшения, наносимые непосредственно на кожу, станут привычными аксессуарами.

Виртуальная реальность ставит очень высокие требования не только к средствам стереопросмотра и фиксации движений, но и вычислительным ресурсам, если речь идёт о фотореалистичной графике. Поэтому полноценное VR-окружение пока возможно, по сути, только на мощных настольных компьютерах. Если же речь идёт о мобильных устройствах, то чаще всего приходится наблюдать упрощённую графику в минималистичном стиле. Но, судя по презентации новой технологии Microsoft Research, это может измениться.

Как отмечают разработчики, для естественного восприятия виртуальной реальности требуется более 60 кадров в секунду и задержки реакции менее 25 мс. Для фотореалистичной графики мобильные устройства не могут предоставить необходимого уровня быстродействия. Чтобы выйти из этой ситуации Microsoft Research предлагает опираться больше не на ограниченную скорость вычислений мобильных устройств, а на хранилище памяти.

Технология FlashBack предусматривает предварительную визуализацию всех возможных ближайших перемещений в виртуальной реальности, которые записывают в особый кеш кадров. Чтобы не возлагать на флеш-память чрезвычайно высоких задач, предлагается использовать особые алгоритмы сжатия. Отдельно записывается цветовая информация и карта объёма.

Разработчики утверждают, что FlashBack откроет доступ к окружению виртуальной реальности на рядовых мобильных устройствах, обеспечивая 15-кратное ускорение времени задержек и 8-кратное повышение частоты кадров, а также в 100 раз снижая энергопотребление. Но, судя по описанию, есть и ограничения: при быстром изменении сцены предварительная визуализация окажется невозможной. Впрочем, возможно, онлайн-хранилища и быстрый Интернет смогут исправить и эту проблему.

Когда FlashBack сможет найти своё первое реальное применение, Microsoft Research не сообщает.

Microsoft официально выпустила приложение Hyperlapse для Android. Ранее оно было доступно только для пользователей, выразивших желание поучаствовать в бета-тестировании новинки.

Программа позволяет использовать длинные видеофильмы для создания сжатых видеороликов. Разработчики создали её для того, чтобы пользователь мог показать другим людям захватывающие моменты из жизни, как, например, восхождение на высокую гору или поход по пересечённой местности. Чаще всего подобные видео занимают много часов, и из-за этого становятся неинтересными.

Hyperlapse может работать с уже существующими видеозаписями, а также использоваться для записи через встроенную в телефон или внешнюю камеру. Разработанные Microsoft технологии позволяют записывать качественное видео даже при очень большой скорости движения камеры. Полученные таким образом ролики являются очень качественными и удобными для просмотра.

«Для создания технологии hyperlapse потребовалось более 20 лет исследования в области цифровой фотографии», — утверждают в Microsoft. Подробно о технологии Hyperlapse и работе Micosoft Resarch можно узнать здесь.

В приложении для Android предусмотрен специальный режим для снятия селфи, который позволяет заснять, как менялось выражение лица на протяжении длительного периода времени.

Скачать Hyperlapse для Android можно прямо из Google Play, для этого необходимо устройство, совместимое с Android 4.4 KitKat.

Компьютер, способный к самообучению, может творить чудеса, на которые человек просто не способен. Нейронные системы на сегодняшний день применяются во всех крупных технологических компаниях для улучшения поисковых алгоритмов, совершенствования функций определения голоса, а также других непростых задач.

Основным недостатком машинного обучения является ограничение в том, кто может управлять такой системой. К сожалению, чтобы «научить» компьютер чему-либо, необходимо иметь очень хороший навык программирования и в добавок к этому владеть другой узкоспециальной профессией.

Microsoft ведёт проект, который позволит обойти данную проблему, и, в случае успеха, поможет обычным людям использовать искусственный интеллект для собственных нужд. С помощью машинного обучения сотрудники медицинских учреждений смогут ставить более точные диагнозы с учётом факторов, которые врач не смог учесть, рестораторы смогут составлять более выгодное меню, а спортивные тренеры будут способны улучшить процесс подготовки команды к соревнованиям.

Человеку нужно будет только предоставлять цифровой системе новые данные, тогда она сможет составить более точный результат, с учётом всего предыдущего «опыта».

Руководство Microsoft не раскрывает деталей проекта и не указывает условия, по которым будет распространятся конечный продукт. При этом новая система уже проходит закрытое бета-тестирование, и её авторы смотрят в будущее с большим оптимизмом.

Microsoft считается одним из пионеров в разработке систем, отслеживающих движение, в первую очередь благодаря устройству Kinect. Несмотря на существенный прогресс в этой области за последние годы, цифровая техника пока что не может с достаточной точностью определить жесты, которые люди могут делать с помощью рук.

По мнению сотрудников исследовательского центра Microsoft Research, им удалось совершить существенный прорыв в данной области, разработав технологию Handpose. Данная система позволяет точно определить и интерпретировать любое движение руки с помощью камеры.

Отслеживания действий рук является очень сложной задачей по сравнению с отслеживанием положения тела человека в целом. Рука имеет намного меньший размер, а её пальцы и кисти являются очень гибкими, поэтому их действия сложно интерпретировать.

Handpose точно следит за заданным объектом, быстро восстанавливая фокус, даже если рука на время покинула поле зрения. В Microsoft подчёркивают, что новой системе не нужно держать объект на определённом расстоянии от камеры. Пользователь может, например, ходить по комнате в очках дополненной реальности HoloLens, взаимодействуя при этом с компьютером с помощью жестов.

Если добавить к этому поддержку голосовых команд с помощью ассистента Cortana, выстраивается система, при которой человеку не требуется использовать классические средства ввода, такие как мышка и клавиатура.

Помимо применения c HoloLens система Handpose также откроет новые возможности для авторов игр и различных интерактивных приложений.

В прошлом месяце Microsoft впервые обратила внимание на платформу Android Wear, представив специальную версию приложения OneNote для умных часов на платформе Google. Теперь компания решила продолжить поддержку этой относительно новой мобильной платформы, представив новую достаточно интересную мобильную клавиатуру.

Пока продукт, называемый в Microsoft «аналоговой клавиатурой», находится в стадии прототипа — он позволяет вводить текст при помощи рукописного ввода букв на экране наручных часов. Клавиатура совместима только с Samsung Gear Live (квадратный экран, 320×320) и Moto 360 (круглый дисплей, 320×290) — другие устройства не поддерживаются. Стоит отметить, что пользователь может рисовать помимо английских букв также специальные символы и цифры.

Идея клавиатуры на наручных часах малопривлекательна. Несмотря на то, что некоторые компании вроде Minuum и пытаются сделать их удобными, голосовой ввод всё же гораздо проще в работе. Не зря Google не выпустила собственной программной клавиатуры для платформы Android Wear.

Кстати, распознавание рукописных символов на экране наручных часов — не новинка. Ещё в 1984 году Casio продавала часы-калькулятор AT-550 с ёмкостным сенсорным дисплеем и поддержкой распознавания рукописных цифр и математических символов. Затем эта технология на долгое время ушла с рынка (часы-калькуляторы просто вышли из моды), но теперь, спустя 30 лет, специалисты Microsoft решили пересмотреть идею на новом витке развития носимой электроники.

Тем не менее, иногда программная клавиатура, пусть и на совсем мелком экране, может пригодиться: в конце концов, есть ситуации, когда отдавать голосовые команды своим наручным часам весьма неудобно. Чтобы написать короткий ответ на SMS или отдать команду поиска, клавиатура от Microsoft Research может быть весьма полезной. Альфа-версия приложения уже доступна для скачивания и установки, но владельцам Moto 360 следует внимательно следовать инструкции — отсутствие порта USB усложняет процесс установки.

Ребёнку приходится долго учиться, чтобы научиться таким обыденным в человеческой жизни навыкам, как застёгивать пуговицы, есть вилкой и ножом, писать и прочее. За каждым из этих действий стоит сложная биомеханика взаимодействия двух рук, каждая из которых состоит из 27 костей, более 30 мускулов, около 50 нервов и 30 артерий.

Оглядываясь на устройство руки, лаборатория Microsoft Research вместе с университетами Корнелла и Брендона работает над созданием более естественных способов взаимодействия человека с электронным пером и планшетом. Созданный в лаборатории прототип получил награду Best Paper на симпозиуме User Interface Software and Technology 2014, который проходит на этой неделе на Гавайях.

Команда убеждена, что несмотря на всю ловкость пальцев рук, человеку для профессиональной работы на компьютере нужны такие точные инструменты, как стилус, а также возможность одновременного управления пером и пальцами. Исследователи сосредоточили своё внимание на мелкой моторике рук, которая даёт богатую информацию о характере использования пера и позволяет существенно улучшить управление сенсорным экраном.

Путём интегрирования набора сенсоров в планшет и стилус удалось отслеживать девять степеней свободы: положение каждого из устройств и по отношению друг к другу. Кроме того, перо покрыто мультисенсорным слоем, позволяющим определять характер удержания или касания. Подобным же образом покрыта тыльная сторона планшета.

Такая аппаратная часть даёт очень широкие возможности разработчикам для расширения функциональности программ и игр. На прилагаемой демонстрации приводится лишь один из примеров возможного применения продвинутых сенсорных устройств при рисовании. Как поясняют разработчики, их задачей было разработать удобный интерфейс и предоставить наиболее естественное для пользователей окружение, не обременяющее их лишними сложностями.

Представленная в качестве прототипа технология уже получила признание экспертов — теперь необходимо внедрение её независимых составляющих в качестве индустриального стандарта. Только такой сценарий обеспечит новым средствам управления массовое использование. В противном случае они либо не выйдут на рынок вовсе, либо останутся узкоспециализированным и дорогим решением.