MWC 2018
2018
Computex
IFA 2018
Мозговые компьютерные интерфейсы всё чаще применяются для восстановления утраченных функций. Парализованный 69-летний психолог-исследователь Гален Бакволтер (Galen Buckwalter) использует шесть мозговых имплантатов не только для управления компьютером и восстановления чувствительности, но и для генерации музыкальных тем, которые уже используются в новом альбоме панк-группы Siggy из Лос-Анджелеса.
Источник изображений: Siggy
В 16 лет Бакволтер получил травму во время ныряния, в результате чего оказался парализован ниже груди. В 2024 году он принял участие в исследовании мозгового компьютерного интерфейса в Калифорнийском технологическом институте и перенёс краниотомию для имплантации шести чипов Blackrock Neurotech в моторную кору головного мозга.
Каждый чип содержит 64 канала, предоставляя исследователям 384 отдельных потока нейронных данных для мониторинга намерений пользователя. Эти сигналы декодируются, что позволяет Бакволтеру управлять курсором, чувствовать прикосновение пальцами, которые были онемевшими десятилетиями, а теперь и пользоваться компьютерным аудиоинтерфейсом.
Источник изображения: Techspot
Бакволтер говорит, что «хотел знать, как звучит его мозг» — в этом ему помог аспирант Калифорнийского технологического института Шон Дарси (Sean Darcy), который в своё свободное время разработал ПО для преобразования мыслей в управляемые звуки. В основе системы Дарси лежит сопоставление частоты импульсов отдельных нейронов с высотой тона. У каждого нейрона есть «базовая частота» — когда Бакволтер думает о конкретном движении, некоторые каналы активизируются, а другие затихают.
Дарси присвоил каждому базовому мысленному движению свой тон. Когда Бакволтер увеличивает активность нейрона — например, представляя, как он вытягивает палец ноги, — высота тона повышается; когда он подавляет её, высота тона понижается. Сочетая различные воображаемые движения с различными каналами, он может одновременно управлять несколькими тонами, хотя, по его словам, больше двух мысленных движений в настоящее время ощущается как «одновременное поглаживание головы и живота».
Чтобы сделать интерфейс более музыкальным, Дарси добавил виртуальную клавиатуру поверх непрерывного управления. Тоны звучат только тогда, когда нейронная активность пересекает пороговое значение, и прекращаются, когда она снижается, что даёт Бакволтеру нечто, больше похожее на инструмент с дискретными нотами, чем на поток необработанных данных. Связь между мозгом и имплантом не совсем стабильна. Один и тот же канал может перестать соответствовать работоспособному нейрону, что вынуждает команду перекалибровывать и находить реагирующие клетки перед каждой сессией.
Для Бакволтера творческие возможности — это не просто новинка, дополняющая клиническую работу, а центральный элемент того, как, по его мнению, должны развиваться исследования в области интерфейсов мозг-компьютер. Он критикует то, что считает узконаправленной фокусировкой на экспериментальных целях исследователей в ущерб интересам самих участников.
По его мнению, эта область будет стагнировать, если к людям, живущим с имплантами, будут относиться в первую очередь как к источникам данных, а не как к людям, чьи мотивы — музыка, искусство или другие самостоятельные проекты — определяют повестку дня. «Я думаю, нам обязательно нужно изучать, как использовать это для развития творчества, — считает он. — Восстановление, да, это в первую очередь. Но мы гораздо больше, чем просто движения и чувства».
Панк-группа Siggy стала полигоном для проверки его философии. Музыканты включили один из треков, созданных в лаборатории Бакволтера, в Wirehead, в заглавную песню своего последнего альбома, выпущенного 15 марта. В композиции используются звуки, полученные непосредственно из его нейронных сигналов, при этом Дарси фактически выступает в роли звукорежиссёра, модулируя параметры, в то время как Бакволтер исполняет музыку, управляя своим мозгом.
Источник изображения: Techspot
Сейчас они работают над созданием целых треков исключительно из «нейронной музыки», приближаясь к тому, что Бакволтер описывает как диджейскую установку, полностью возникающую из активности его моторной коры головного мозга. Для технологии, которая всё ещё в значительной степени определяется клиническими показателями, это даёт раннее представление о том, как интерфейсы мозг-компьютер могут использоваться как в культуре, так и в здравоохранении.
Источник:
