Исследователи Калифорнийского университета (UC) в Беркли впервые получили музыкальную композицию, воссозданную по сигналам из мозга человека. Пациенты прослушивали трек «Another Brick in the Wall (Part 1)» группы Pink Floyd, а имплантированные в мозг датчики снимали показания. Различение ритма и мелодии в сигналах мозга поможет разработать имплантаты для людей, страдающих нарушениями в области восприятия речи и эмоций и не только.

Источник изображения: Pixabay

Для поиска зон мозга, ответственных за восприятие музыки в широком смысле этого слова, в мозг 29 пациентов были имплантированы по 2268 электродов. Всем им ставили композицию Pink Floyd «Ещё один кирпич в стене», ставшую классикой рока. Параллельно прослушиванию с датчиков снимались показания мозговой активности, которые затем расшифровывали с помощью линейного и нелинейного ИИ-алгоритма.

Что в итоге получилось, можно прослушать в ролике ниже. Ценители Pink Floyd могут прийти в ужас от услышанного. С другой стороны, мозг может служить своеобразным фильтром, придающим композиции новизну и определённую оригинальность. Нельзя исключать, что это, в том числе, приведёт к появлению новых музыкальных находок и даже направлений.

При поиске ориентированных на музыку областей в головном мозге учёные решали другую задачу. Есть большой класс пациентов, страдающих от нарушений в восприятии и воспроизведении речи. В общем случае это называется просодией. Просодия подразумевает невозможность выделить в речи эмоции, ударения, акценты и другие нюансы, что сильно ограничивает страдающих ею в социализации. Считывание мелодии прямо с мозга помогло определить центры, отвечающие за мелодику и ритм. Фактически это путь к преодолению недуга с помощью имплантатов и ИИ-алгоритмов.

Источник изображения: Ludovic Bellier/CC-BY 4.0

Оказалось, что за музыкальную активность мозга отвечают другие отделы, чем те, которые поддерживают речь. Прежде всего — это верхняя височная извилина, а также области в сенсорно-моторной коре и нижней лобной извилине. В этих областях были расположены 347 электродов из 2268, установленных для эксперимента. Это то разрешение, с которым была считана с мозга легендарная композиция Pink Floyd, что наверняка можно улучшить в последующих экспериментах. Интересно, как к этому отнесутся правообладатели?

Исследователи из Института Файнштейна американской медицинской сети Northwell Health впервые обеспечили двойной искусственный обход поражённой нервной системы пациента. Встроенные в головной мозг человека имплантаты вернули подвижность и чувствительность руки. Не обошлось и без помощи искусственного интеллекта.

Источник изображений: Matthew Libassi / Northwell Health’s Feinstein Institutes for Medical Research

При подготовке к операции хирурги с помощью фМРТ провели многочисленные оценки зон головного мозга пациента, чтобы с максимальной точностью определить место размещения имплантатов — чипов, распознающих активность головного мозга в его отдельных областях. Но даже после этого в процессе 15-часовой операции на открытом мозге они консультировались с пациентом для уточнения мест установки датчиков.

Два имплантата считывали «мысли» пациента о желании двигать рукой, а три других принимали сигналы от датчиков на руке и запястье. Фактически врачи запустили два обходных пути для нейросигналов, барьером на пути которых стала травма позвоночника (спинного мозга). Один шунт заставлял руку совершать движения через систему накладных электродов (на позвоночник и предплечье), а другой возвращал в мозг сигналы от датчиков тактильных ощущений. Дальше мозг справлялся сам — связывал одно и другое и выстраивал новые нейронные цепи в головном мозге таким образом, чтобы человек воспринимал движение руки и тактильный отзыв в едином пакете.

По словам хирургов, это первый в истории случай, когда спинной мозг обошли двумя маршрутами. Ранее проводились экспериментальные операции, когда шунт, минуя поражённый спинной мозг, передавал расшифрованные компьютерным алгоритмом желания двигаться в мышцы конечностей. Но обратной связи до сих пор никто не организовывал, чтобы тактильные ощущения возвращались в мозг в обход повреждённых нервных тканей.

Между тем, обратная связь может помочь в восстановлении функций мозга, отвечающих за движения конечностей и их чувствительность. Проще говоря, по мере обучения мозг может научиться обходиться без компьютерных алгоритмов и случай с этим конкретным пациентом Northwell Health это подтвердил. После двойной стимуляции 45-летний парень с парализованными руками и ногами смог частично вернуть чувствительность руки и в два раза увеличил силу её сжатия.

Миллионы пациентов с подобными травмами могут надеяться вернуть подвижность и чувствительность конечностей, что обеспечит им развитие подобных технологий.

Современные технологии не позволяют осуществлять высокоточное дистанционное считывание активности мозга человека. Самым действенным способом по-прежнему остаётся установка электродов на кожу головы или имплантация непосредственно в мозг. Возможно, с этим сможет помочь новый китайский датчик активности мозга, который очень просто устанавливается в ушной канал пациента.

Источник изображений: Nature Communications (2023)

Разработанное группой ученых из китайского Университета Цинхуа устройство получило название SpiralE. Это тонкая многослойная полоска длиной 50 мм и шириной 3 мм. Полоска состоит из двух слоёв полимера с памятью формы, слоя электротермической активации формы и слоя с сенсорами для снятия электроэнцефалограммы.

Для ввода в ушной проход пациента датчик скручивается в плотный жгут. Уже на месте на датчик воздействуют электромагнитным полем, которое вызывает нагрев в его активирующем слое и, как следствие, заставляет полимерные слои с памятью формы распрямляться. Этот процесс приводит к тому, что датчик плотно соприкасается с кожей, и это обеспечивает аккуратное снятие сигналов мозговой активности. При этом каждый раз датчик принимает индивидуальные формы слухового канала, что делает его универсальным. Наконец, он не загораживает слуховой проход и не снижает чувствительность слуха человека, и легко извлекается.

Лабораторные испытания показали, что датчик удобен для длительного ношения и определяет активность мозга с точностью до 95 %. Учёные рассчитывают, что подобный датчик найдёт применение в изучении качества сна пациентов (спать с современными наголовными датчиками то ещё удовольствие), при выявлении эпилепсии и даже для слежения за активностью водителей, о чём они рассказали в своей статье в журнале Nature Communications.

Учёные из Университета Монаша создали DishBrain — полубиологический компьютерный чип, в электроды которого интегрированы около 800 000 клеток мозга человека и мыши. Демонстрируя что-то вроде разума, он научился играть в Pong за пять минут. Исследование, проведённое в партнёрстве с мельбурнским стартапом Cortical Labs, получило грант в размере 407 000 долларов США от Австралийской национальной программы грантов на исследования в области разведки и безопасности.

Источник изображения: Pixabay

Массив микроэлектродов в основе DishBrain способен не только считывать активность в клетках мозга, но и стимулировать их электрическими сигналами, поэтому исследовательская группа создала версию Pong, в которой клетки полубиологического искусственного мозга получали информацию о перемещении мяча и могли воздействовать на ракетку, перемещая её влево и вправо.

Затем была разработана очень простая система стимуляции, использующая стремление небольших скоплений клеток мозга сводить к минимуму непредсказуемость окружающей их среды. Если ракетка отбивает мяч, клетки получают поощрение — предсказуемый стимул, а при промахе — четыре секунды непредсказуемого воздействия. Это первый случай, когда клетки мозга, выращенные в лаборатории, получили возможность не только ощущать мир, но и воздействовать на него, и результаты были впечатляющими.

Нейроны DishBrain, растущие на массиве электродов / Источник изображения: Cortical Labs

Такие чипы, объединяющие биологические вычисления с ИИ, «в будущем могут в конечном итоге превзойти по производительности существующее чисто кремниевое оборудование, — уверен руководитель проекта доцент Адил Рази (Adeel Razi). — Результаты таких исследований будут иметь серьёзные последствия в таких областях как планирование, робототехника, передовая автоматизация, интерфейсы мозг-машина и разработка лекарств».

Расширенные возможности DishBrain могут стать основой нового поколения машинного обучения, особенно когда оно будет воплощено в автономных транспортных средствах, дронах и роботах. По словам Рази, это может дать им «новый тип машинного интеллекта, способный учиться на протяжении всей своей жизни». Технология обещает машины, которые могут продолжать изучать новые способности без ущерба для старых, хорошо адаптируются к изменениям и могут использовать старые знания в новых ситуациях, оптимизируя использование вычислительной мощности, памяти и энергии.

DishBrain с клетками, выделенными с помощью флуоресцентных маркеров / Источник изображения: Cortical Labs

«Мы используем этот грант для разработки более совершенных моделей ИИ на основе обучающихся биологических нейронных сетей, — говорит Рази. — Это поможет расширить возможности оборудования и методов до такой степени, что они станут жизнеспособной заменой для классических вычислений».

Похоже, скоро мы узнаем, мечтают ли андроиды об электроовцах. И нам может не понравиться то, что мы узнаем.