С 90-х годов прошлого века окном в цифровой мир для десятков, сотен тысяч, а затем и миллионов землян стал персональный компьютер; начиная с первого десятилетия века нынешнего его с этой позиции принялся вытеснять смартфон. Но и ПК, и мобильник, сколько бы мегапикселов ни содержали их дисплейные матрицы и насколько глубокие басы ни воспроизводили бы встроенные в них динамики, так и продолжают оставаться именно что окошками: отображаемый им дивный цифровой мир жёстко ограничен рамками экрана, из-за которых за пользователем по-прежнему следит не мигая свинцовый взгляд реальности. Возможно, как раз желание избавиться от давления этого взгляда хотя бы на время и стимулирует упорную работу исследователей над всевозможными версиями VR, AR, XR и MR — невзирая на откровенно сдержанную реакцию публики на предлагаемые ей гарнитуры что виртуальной (virtual), что дополненной в различных вариантах (augmented, extended, mixed) реальности. «Сдержанную», впрочем, — это ещё мягко сказано. Проведённый Security.org в середине 2024 г. опрос показал, что почти половина (49%) опрошенных американцев не удосужились приобрести VR-гарнитуру просто потому, что не видят в ней никакого смысла (кстати, всего лишь 10% признались, что испытывали головокружение либо иные неприятные ощущения, когда пытались испробовать в деле эту разновидность интерфейса для погружения в цифровые миры).
И действительно: хотя зрение и слух — наиболее активно используемые нами органы чувств, очки и шлемы VR/AR научились уже весьма неплохо обманывать, по остальным трём направлениям — а именно в части осязания, обоняния и вкуса — компьютерные интерфейсы пока что откровенно отстают. Что не может не влиять на восприятие сгенерированного компьютером искусственного (частично — в случае VR либо же фрагментарно — для AR/XR/MR) мира: какую-нибудь цифровую клавиатуру можно увидеть; можно даже услышать, как щёлкают при нажатии её клавиши, если разработчики виртуального окружения о том позаботились. Но на кончиках пальцев при работе на ней не возникнут знакомые ощущения, и характерного запаха пластика она издавать не будет, и даже если в стремлении к реалистичности затейники-программисты добьются того, чтобы из перевёрнутой виртуальной клавиатуры посыпались сгенерированные машиной крошки, — на вкус те попробовать не удастся. А человеческий мозг устроен довольно-таки парадоксально: заведомо далёкие от реальности попытки её имитировать он воспринимает с благосклонностью, но чем заметнее сужается этот разрыв, тем крепче недоверие — и даже ужас от наблюдаемого (см. известный эффект «зловещей долины»).
Совместимый уже с некоторыми VR-играми аромагенератор Cilia неплохо работает — но, увы, мобильностью не отличается (источник: HapticSol)
Так что же, выходит, полноценное погружение в виртуальность невозможно в отсутствие интерфейсов для взаимодействия с цифровым миром по тактильному, запаховому и вкусовому каналам? Вполне вероятно, — и, если когда-нибудь Neuralink Илона Маска (Elon Musk) или иной схожий по принципу действия нейроинтерфейс научится воздействовать напрямую на соответствующие зоны головного мозга, проблема эта окажется решена. Однако пока что по этому направлению прогресс движется куда медленнее, чем хотелось бы стремящимся поскорее погрузиться в виртуальность с головой: в частности, нанопроводки, обеспечивающие физический контакт интерфейса с мозгом, через некоторое время покрываются глиальными клетками, что ухудшает их работоспособность, — и кардинальных средств противодействия этому пока не предложено. Значит, в обозримой перспективе на повестке дня остаются старые добрые неинвазивные средства человеко-машинной коммуникации, которые будут обманывать не сам мозг напрямую, а периферийную нервную систему в соответствующих органах чувств. Это ведь наверняка окажется проще?
⇡#На вкус метавселенные разные
В конце ноября 2024 г. в солидном американском академическом издании Proceedings of the National Academy of Sciences появилась статья группы исследователей из Городского университета Гонконга с представлением портативных вкусовых интерфейсов для VR/AR/MR, которые предполагается выполнять в виде всем известных леденцов на палочках. Во-первых, это удобно (вдобавок случайно проглотить такой гаджет или даже подавиться им будет непросто); во-вторых, эта команда явно выбрала системный подход — ранее областями её интересов были мобильные запаховые и тактильные интерфейсы, также предполагающие массовое повсеместное применение. Устройство, на этапе лабораторной разработки ещё не имеющее собственного имени, содержит в своём навершии (которое пользователь, как предполагается, будет лизать, желая ощутить вкус того или иного виртуального объекта) мини-контейнеры с агарозным гелем — это особо чистая фракция природного линейного полисахарида агара, получаемого из морских красных водорослей. Такой гель может содержать молекулы различных пищевых вкусовых добавок — на первых порах исследователи экспериментировали с девятью, формирующими вкусы сахара, соли, лимонной кислоты, маракуйи, зелёного чая, молока, дуриана (только вкус, без запаха, разумеется) и грейпфрута. Под воздействием пропускаемого через контейнер электрического тока гель высвобождает связанные молекулы добавок, которые мигрируют к поверхности и, смешиваясь со слюной пользователя, создают у того ощущение вкуса, причём тем более выраженного, чем сильнее активирующий ток.
Цифровой леденец на палочке, как предполагают его разработчики, должен стать частью сложной VR-системы с датчиками перемещения руки и, разумеется, с собственно гарнитурой виртуальной реальности (источник: PNAS)
Строго говоря, химический способ компьютерной эмуляции вкуса — доставка вкусовых добавок непосредственно к вкусовым сосочкам пользователя — не единственный из возможных. Ещё в 2018 г. стартап Multisensory Interactive Media Lab предлагал электронные палочки для еды — довольно простое устройство, в котором проводящие палочки заканчиваются парой электродов, что слабыми токами стимулируют через слюну эти самые сосочки — и создают таким образом иллюзию появления солёного, к примеру, вкуса у пищи, в которую при готовке соль совершенно не добавляли. Судя по тому, что до наших дней экстравагантный стартап не дожил, идея себя не оправдала — тем более его основатель Нимеша Ранасингх (Nimesha Ranasinghe) ещё на первых порах признавался, что испытывает затруднения с воспроизведением едва ли не самого востребованного на планете вкуса — сладкого. Ощущения же кислого, солёного, даже горького его электронным палочкам удавалось создавать, используя различные комбинации амплитуды и частоты переменного тока, а также разные материалы для наконечников электродов. Не будет лишним указать, что распространённая, что называется, в массах псевдотеория об избирательной чувствительности различных зон языка к разным вкусовым ощущениям в корне неверна: учёные до сих по не могут ответить с исчерпывающей определённостью, как же именно работают чрезвычайно сложно устроенные вкусовые рецепторы. И, судя по всему, прямой электрической стимуляции сосочков для адекватной передачи всей палитры воспринимаемых человеком вкусов недостаточно.
Гонконгские разработчики цифрового леденца на палочке сконцентрировались потому именно на химических средствах формирования вкусовых ощущений у пользователя — и, если верить опубликованным результатам, своего добились. Интерфейс у них получился явно не обременительным (изготовленный на 3D-принтере корпус 8 см в длину, 15 г полностью снаряженной массы). Версии с меньшим, чем 9, количеством одновременно воспроизводимых вкусов позволяют использовать для каждого из контейнеров больше пищевых добавок — что, в свою очередь, увеличивает предельно достижимую интенсивность выбранного вкуса либо продолжительность использования сменного блока. Испытания показали, что при выбранном для эксперимента сценарии эксплуатации (явно более интенсивном, чем может подразумевать практическое применение такого интерфейса даже в специфических VR-играх) одного такого блока хватает примерно на час. По мнению разработчиков, слишком дорогим искусственное вкусовое удовольствие не выйдет, поскольку все его химические компоненты производятся серийно в огромных объёмах, так что себестоимость при массовом производстве обязана оказаться невысокой. Другое дело — а будет ли налажено такое производство? Иными словами, есть ли (или появится ли в обозримом будущем) сколько-нибудь заметный спрос на компьютерные вкусовые интерфейсы?
«Хм-м, опять недосолено… кто-то брал мои е-палочки?» (Источник: Multisensory Interactive Media Lab)
⇡#Чу! Цифровыми фиалками повеяло…
Химические рецепторы — что вкуса, что запаха — одни из самых древних в арсенале живых организмов и потому устроены крайне сложно: количество разнообразных рецепторных клеток на слизистой оболочке носа человека достигает 50 млн, на языке — 400-500 тыс. Отдельные такие клетки реагируют на контакт с определёнными молекулами, производя возбуждающий импульс; затем эти нервные импульсы поступают на особые нейроны, каждый из которых связан с целым сонмом рецепторов — каждый со своим. В результате любой природный аромат (формируемый, как правило, не одной какой-то молекулой, а целой их комбинацией — в отличие от «химически чистого» запаха искусственно создаваемых моновеществ) инициирует в сопряжённой с рецепторными клетками нейросети особую, свойственную только ему комбинацию импульсов, — и соответствующий шаблон активации нейронов ассоциируется в головном мозге с тем или иным ароматом. На описательном уровне эта схема не так уж сложна, поэтому идея создания «электронного носа» для машинного различения особенно важных запахов (метана в шахте, опасных веществ в багаже и т. п.) давно витала в воздухе — и уже оформляется в виде применяемых на практике искусственных аромадетекторов. Но одно дело — определять природные запахи, располагая некой цифровой системой, и совсем другое — генерировать ароматы для восприятия их погружающимся в виртуальность человеком.
В 2023 г. в Nature Communications появилось сообщение группы китайских исследователей о создании прототипа миниатюрного беспроводного обонятельного интерфейса — с ориентиром на применение его именно вкупе с гарнитурами виртуальной реальности. По принципу работы устройство схоже с рассмотренным нами ранее вкусовым интерфейсом, но, поскольку запахи распространяются по воздуху, прямого контакта со слизистой оболочкой носа пользователя здесь не требуется, — достаточно научиться каким-то образом доставлять насыщенный ароматизаторами воздух поближе к носовой полости. Строго говоря, в более солидных масштабах (кинозала, например) производящие запахи аналоговые агрегаты под названием Smell-O-Vision и AromaRama применялись в США ещё в середине прошлого века, а их прямые предшественники действовали в британских театральных залах ещё в 1860-х годах — распространяя, правда, ароматы не в соответствии с развёртывающимся на сцене действом, а исключительно с целью прорекламировать спонсировавшую спектакль парфюмерную фирму. Нынешние аромагенераторы тоже по сути своей аналоговые — поскольку на ароматические рецепторы не выйдет воздействовать цифровыми методами; им подавай натуральные молекулы строго определённой конфигурации, — но, по крайней мере, управляются такие устройства соответствующим образом запрограммированными компьютерными системами.
Японский запаховый интерфейс с ультразвуковым атомайзером — здесь показан его лабораторный прототип — при всей своей громоздкости позволяет ощущать соответствующие демонстрируемому видеоряду (или игровому процессу) ароматы на комфортной дистанции и без каких бы то ни было масок (источник: Tokyo Institute of Technology)
Впервые интерес к компьютерной виртуальной реальности (выходящей за пределы чисто аудиовизуальных средств) широкие круги разработчиков по всему миру начали проявлять в середине 1990-х — к этому времени относятся, например, применявшаяся в американских парках развлечений аромагенерирующая система компании Ferris Productions или её ориентированный на совместную работу с HUD-дисплеями аналог от британской BOC Group. Для натуралистичной тренировки пожарных в США примерно тогда же начали использовать управляемые оператором запаховые интерфейсы, что погружали курсантов (но не следивших за их действиями инструкторов) в неповторимую атмосферу горящего дерева, нефтепродуктов и/или резины. Эстафету ближе к концу первого десятилетия 2000-х подхватили японцы, предложившие аромагенератор с электромагнитными клапанами, Olfactory display, специально для персонального просмотра видеофильмов или прохождения игр (кулинарной направленности прежде всего) — и снабдившие его 32 «базовыми» ароматами, индивидуальное испускание либо смешение которых позволяло воспроизводить довольно широкую палитру запахов. В 2018-м устройство доработали, укомплектовав его атомайзером (распылителем жидкого ароматического вещества) на ультразвуковых волнах. Модифицированный «аромадисплей» стал компактнее, но всё равно оказался слишком велик для интеграции в наголовную гарнитуру.
Та же самая проблема преследовала и другие схожие проекты вроде системы Cilia разработки техасского стартапа HapticSol (предлагается с 2020 г. в виде настольного гаджета — либо системы с урезанными возможностями, но зато носимой на шее наподобие ювелирной подвески), для которой даже имеются плагины совместимости с движками Unity и Unreal Engine, — правда, задействовать их способны, ясное дело, далеко не все игры. Совсем недавно, в 2022-м, Аризонский государственный университет представил едва ли не наиболее передовую (с точки зрения применимости в VR-системах) разработку под незамысловатым наименованием The Smell Engine, — она выполнена в виде небольшой закрывающей нос маски (наподобие больничной кислородной) и физически совместима с доступными сегодня коммерческими гарнитурами виртуальной реальности. Грамотная программная интеграция The Smell Engine в цифровой мир — через движок Unity, в частности, — позволяет формировать запахи с интенсивностью, зависящей от расстояния до того цифрового объекта, который предполагается к обнюхиванию пользователем. Правда, от собственно аромагенератора к назальному пользовательскому интерфейсу тянется довольно толстенькая трубка, что в случае экспериментального образца вполне приемлемо, но для коммерческого устройства с очевидностью не годится.
Судя по выражению лица экспериментатора, генерируемый The Smell Engine запах в данном случае вполне приятный (источник: Arizona State University)
Упомянутая же чуть ранее китайская разработка 2023 г., о которой сообщалось в Nature Communications, в перспективе может оказаться более удачной основой для ароматического погружения в виртуальные миры — поскольку представляет собой набор свободно комбинируемых унитарных запаховых генераторов (olfactory generator, OG), каждый из которых отвечает за формирование единственного аромата. Отдельный такой генератор представляет собой нетолстую пластину примерно 1,5×1,5 см, содержащую ароматическую жидкость и нагревательный элемент; силой нагрева (и, соответственно, крепостью аромата) управляет беспроводная цифровая система. А дальше — широкий простор для фантазии конструкторов: можно расположить пару различных OG на узкой пластине, поместив её прямо под носом пользователя на манер карнавальных накладных усов; можно собрать девять таких элементов на внутренней поверхности закрывающей нос и рот маски и т. п. Проблем, конечно, и у этого подхода предостаточно: одно избавление от молекул выпущенного ранее аромата при быстром переходе к следующему обнюхиваемому виртуальному объекту чего стоит, да и при всей компактности предложенных OG совсем уж миниатюрными их точно не назовёшь. И всё-таки продвижение в сторону обоняемой виртуальной реальности с очевидностью наблюдается, — пусть до полномасштабного в неё погружения пока что и далеко.
По сравнению со вкусами и запахами передача тактильных ощущений пользователю через компьютерный интерфейс представляется задачей едва ли не тривиальной: во множестве современных игр задействованы тактильные возможности специализированных контроллеров (попросту говоря, активируемая в определённые моменты вибрация), да и для передовых смартфонов тактильная отдача при взаимодействии с экранным интерфейсом вполне характерна. Собственно, ещё в конце прошлого века, почти одновременно с первыми шлемами VR, появились и компьютерные перчатки как человеко-машинный интерфейс для удобного оперирования объектами цифрового мира — в том числе и с обратной связью, реализуемой всё теми же создающими вибрацию сервомоторами. Встречались даже такие курьёзные проекты, как сенсорный жилет для кур, дающий возможность погладить облачённую в него птицу через Интернет, прикасаясь к усеянной соответствующими датчиками и сопряжённой с жилетом фигурке птицы. Словом, пока есть рука (или спина, если говорить о накладках на геймерские кресла с обратной тактильной связью; или просто участок кожи, на который посредством особого пластыря передаётся тактильное воздействие) и некий контактирующий с нею объект, который возможно оснастить сервоприводами, в том числе весьма высокоточными, никаких проблем с тактильным восприятием виртуальности не возникает.
Что ощущает владелец курицы, у которого появилась возможность потискать любимую пеструшку дистанционно, наблюдая за ней через веб-камеру и прикасаясь к фигурке птицы с тактильными сенсорами, понять можно. Но вот для постижения того, что переживает облачённая в напичканный сервомоторами жилет хохлатка, когда ничто принимается вдруг её ласково поглаживать, необходимы поистине лавкрафтовско-кафкианские глубины восприятия (источник: IEEE Spectrum)
Затруднения начинаются, когда подходящего объекта попросту нет: скажем, тактильная обратная связь в случае смартфона реализуется чаще всего вибрацией всего устройства целиком — просто потому, что размещать под отдельными участками дисплея выделенные сервоприводы и чересчур накладно, и не слишком практично: толщину корпуса гаджета это уж точно не уменьшит. Однако куда полезнее и удобнее было бы, если б под пальцами пользователя плоский экран обретал вдруг объём именно там, куда этот палец нажимает, — ведь тактильная обратная связь (особенно при наборе текста, но это далеко не единственное приложение подобной технологии) значительно облегчает взаимодействие с отображаемыми на дисплее объектами цифрового мира. Подобные разработки ведутся не первый год, и одна из наиболее свежих среди них сделана в университете Карнеги—Меллона, — это достаточно тонкий слой Flat Panel Haptics, который может быть размещён прямо под (гибкой, разумеется) OLED-матрицей. В данном случае далеко не всегда практичная способность смартфонного дисплея менять свою геометрию, не теряя основных рабочих свойств, оказывается более чем уместна: внедрённые в Flat Panel Haptics электроосмотические насосы нагоняют в нужную область экрана особую жидкость, под воздействием которой тонкий слой вспучивается — образуя вздутие высотой до 1,5 мм и от 2 до 10 мм в поперечнике, причём на ощупь достаточно твёрдое. Формирование (как и исчезновение) каждой такой динамической кнопки занимает около 1 с, чего для подавляющего большинства приложений, от экранных клавиатур до интерактивных элементов мобильных игр, вполне достаточно. Проекту есть ещё куда развиваться — в частности, хорошо бы для его успешного продвижения привлечь внимание разработчиков популярных приложений и дизайнеров новых смартфонов одновременно, — но в целом такой подход к приданию тактильной глубины цифровым объектам на экранах представляется вполне перспективным. Тем более что человечество, плотно навзаимодействовавшись с начала 2010-х с сенсорными дисплеями, постепенно всё яснее осознаёт важность и ценность старых добрых «кнопочных» интерфейсов, подкрепляющих визуальную обратную связь тактильной, — и разработчики, к примеру, автомобильных систем управления в последнее время явственно следуют этому тренду.
Другой вопрос — а как быть, если экрана в принципе нет? В той же виртуальной реальности на помощь могут прийти изощрённые сенсорные перчатки, конструкция которых будет препятствовать, допустим, свободному сжатию руки, если пользователь берёт в неё некий виртуальный предмет, — таким образом ощущение от физического удержания какого-нибудь цифрового объекта у человека появится. Да, придётся повозиться с тонкой настройкой этого ощущения: скажем, взмах реальным мечом из-за немалой инерции его клинка отзовётся не только в сжимающей рукоять ладони, но и в мышцах всей руки, — тогда как виртуальный меч ничего не весит (хотя и уверенно удерживается благодаря не сомкнутой до конца из-за противодействия сервоприводов перчатке), и потому от размахивания им впечатления окажутся совершенно иными. Но, опять же, поскольку «перчаточные» тактильные интерфейсы представляют собой непосредственно прилегающие к телу пользователя физические объекты, приемлемое решение наверняка подобрать удастся.
Эта висящая в воздухе феечка настолько же виртуальна, насколько и изображение на обычном компьютерном мониторе, но прикоснуться к ней всё-таки можно — вот чудеса! (источник: University of Tsukuba)
А можно ли обойтись вовсе без материальной прослойки между цифровым образом и человеческими органами сенсорного — в частности, тактильного — восприятия? Строго говоря, совсем уж отказаться от посредничества материи не получится — нашему телу далеко до непосредственного восприятия платоновских идей, — но от грубых физических объектов вполне можно перейти к несколько более эфирным средам. Имеется в виду предложенный сводной группой исследователей из нескольких японских университетов метод формирования объёмных визуальных изображений прямо в воздухе с применением фемтосекундных лазеров. В точке фокусировки такого излучателя молекулы составляющих воздух газов ионизуются и возбуждаются до состояния плазмы, испуская достаточно коротковолновые фотоны, которые воспринимаются человеческим глазом как синевато-лиловое свечение. Интересно, что, если ту же процедуру проделывать с лазерами, генерирующими наносекундные импульсы, получаемая плазма оказывается слишком долгоживущей (каждый воксел, т. е. трёхмерный пиксел формируемой в воздухе картинки сохраняет своё состояние на те же наносекунды) — и потому опасной и для человека, и для объектов обстановки: наносекундные лазерно-индуцированные трёхмерные дисплеи попросту опасны, если не принимать необходимых мер предосторожности.
С фемтосекундными (1 фс = 10−15 с) всё значительно проще (хотя технически сами они сложнее): созданная японцами система Fairy Lights генерирует воксели инфракрасными лазерами, каждый импульс которых длится до нескольких десятков фемтосекунд; соответственно, плазменное микрооблачко в точке фокусировки не успевает приобрести настолько высокую температуру (из-за краткости промежутка времени накачки его энергией), чтобы повредить какой-то физический объект или обжечь кожу человека, протянувшего руку к висящему в воздухе воксельному изображению. Более того: если под луч такого лазера попадает, допустим, палец пожелавшего прикоснуться к бесплотной картинке человека, в плазму превращаются уже другие молекулы, — что смещает оттенок свечения картинки в тёплую часть видимого спектра и повышает его яркость (поскольку плотность молекул на коже, ясное дело, выше, чем в воздухе), так что воксельная картинка явным образом и без каких-то дополнительных ухищрений откликается на прикосновения. Более того: ударные волны, неизбежно формирующиеся при столкновении сверхзвуковых частиц плазмы со всё тем же пальцем пытливого экспериментатора, оказывают чисто физическое давление на кожу — и человек ощущает пусть слабое, но совершенно явственное прикосновение к нематериальной вроде бы сущности! Понятно, что, если должным образом сопрячь Fairy Lights с гарнитурой дополненной реальности, в перспективе наверняка удастся создавать и полноцветные, фотореалистичные, окликающиеся на прикосновения объекты — так что, вполне вероятно, интерактивными VR-забавами всерьёз заинтересуются и те потенциальные пользователи, которые сегодня в принципе не представляют, что им вообще делать в виртуальных мирах.
Вкусовые, запаховые и тактильные интерфейсы — чрезвычайно притягательная область развития VR/AR/MR/XR, но и вызовов исследователям она бросает немало. Миниатюризация их — только одна сторона вопроса; защита от недобросовестного использования — другая, не менее важная. К примеру, если взлом вкусо- или аромагенератора в худшем случае приведёт лишь к тому, что какие-нибудь виртуальные бананы начнут пахнуть клубникой (потому что внедрить аромат, к примеру, дуриана в контейнер ультразвукового атомайзера возможно только ручками; компьютерный вирус тут не помощник), то возможное нарушение работы фемтосекундного лазера — так, чтобы тот принялся генерировать опасные для здоровья наносекундные импульсы, — приведёт уже к не самым приятным последствиям. В любом случае сколько-нибудь достоверная виртуализация лежащих за пределами зрения и слуха чувств остаётся пока делом сравнительно отдалённого будущего. Вдобавок трудно на данный момент сказать, какую задачу удастся решить быстрее: эту — или же создание полнофункционального и не подверженного контактной деградации (в смысле, неизбежному пока обрастанию глиальными клетками с понижением из-за этого качества обмена сигналами с нервной тканью) инвазивного нейроинтерфейса. Поживём — увидим!