Утратившие способность говорить пациенты могут вернуться к активному речевому общению, если новая технология перевода мысленных слов в голосовую трансляцию будет доведена до клинического использования. Эксперименты с новым имплантатом и методом преобразования мысленно произнесённых слов в речь показали хорошие перспективы, буквально вернув голос пациентке, которая утратила способность говорить 20 лет назад.

Источник изображения: Nature Neuroscience 2025

Новый имплантат и технологию обучения нейросети для распознавания активности речевых центров мозга разработали учёные Калифорнийского университета в Беркли (UC Berkeley) и Калифорнийского университета в Сан-Франциско (UCSF). Главной особенностью платформы стало сканирование активности мозга каждые 80 мс. Предложенный метод устраняет раздражающую задержку, обычно свойственную подобным решениям.

Система обычно сначала распознаёт активность мозга, затем подключает обучаемую модель, анализирует (как правило) большой фрагмент текста и лишь после этого воспроизводит мысленно произнесённую речь. Живое общение в таком случае затруднено, поскольку постоянно прерывается паузами. Учёные из Калифорнии предложили решение, которое позволяет воспроизводить речь сразу в процессе мысленного произнесения слов пациентом с имплантатом.

Также в новом исследовании учёные обошли проблему обучения модели (интерфейса) с помощью воспроизведения звуков и слов пациентом. Не все потерявшие речь способны на это, поэтому исключение данного этапа позволит расширить круг потенциальных пользователей технологии.

Эксперимент был проведён с 47-летней пациенткой, которая в 30 лет из-за болезни потеряла способность разговаривать. В процессе обучения нейросети она мысленно произносила 100 уникальных предложений из словаря, насчитывающего чуть более 1000 слов. Также использовалась вспомогательная схема для общения, основанная на 50 фразах с использованием меньшего набора слов.

В отличие от предыдущих методов, в новом процессе участница не пыталась произносить слова вслух — она просто проговаривала предложения про себя. Система успешно декодировала оба способа коммуникации, причём среднее количество переводимых в речь слов в минуту почти вдвое превышало показатели предыдущих методов. А при использовании метода прогнозирования мысли переводились в речь на лету в восемь раз быстрее, чем в случае альтернативных способов трансляции.

Для достижения большей естественности звучания использовались старые записи голоса пациентки, что позволило ей говорить фактически своим голосом. Более того, когда процесс распознавания мыслей запустили в автономном режиме без ограничения времени, система смогла перевести в слова даже ту активность мозга, которой интерфейс не обучали.

Авторы отмечают, что метод ещё нуждается в доработке, прежде чем его можно будет считать клинически применимым.

На днях первый пациент с имплантатом Neuralink в голове сообщил об отсутствии каких-либо побочных эффектов от устройства — как физических, так и психологических. Зонды находятся в его голове около года, чего достаточно для первой серьёзной оценки этой нейронной платформы. Практика показала, что Neuralink помогает людям с параличом конечностей обрести самостоятельность в работе с компьютером и начать общение в социальных сетях.

Источник изображения: Neuralink

Ноланд Арбо (Noland Arbaugh), неспособный двигать руками и ногами, поделился своим самочувствием в соцсети X. В частности, он отметил, что за всё время со дня установки имплантата Neuralink «не было никаких негативных побочных эффектов, ни физических, ни психологических, если не считать ненасытного желания заполучить женский конец штекера» — шутку о подключении имплантата к внешней платформе. Судя по всему, имплантат Neuralink имеет разъём типа «папа», а «маму» подключают родственники или специалисты.

Главная проблема Neuralink в том, что тонкие иглы-зонды, углублённые в ткани головного мозга, могут постепенно смещаться из-за подвижности нервных тканей внутри черепа. Часть зондов способна покинуть своё место или серьёзно сдвинуться уже через несколько часов после операции. Это требует постоянной калибровки нейроимплантата. У первого пациента (Арбо) 85 % зондов вышли из зоны установки, поэтому он регулярно работает с командой Neuralink, чтобы улучшить и упростить процесс неизбежных калибровок.

Тем не менее год ежедневного использования имплантата показал его высокую степень надёжности и безопасности. С его помощью пациент смог отказаться от джойстика, которым управлял ртом, и стал перемещать курсор исключительно силой мысли, освоив гонки и стратегии, включая легендарную «Цивилизацию». По его словам, он мог бы даже управлять своей коляской мысленно и постоянно просит у команды Neuralink роботизированную руку для повседневных дел. Пока это остаётся в планах, но Neuralink открыт для усовершенствований и стремится расширить число пользователей, чтобы имплантат стал привычной частью жизни.

Издание eWeek сообщило, что на конференции Nvidia GTC 2025 лидерам отрасли вживую показали работу малоинвазивного нейронного интерфейса на базе ИИ. Демонстрацию провела компания Synchron, которая заявляет о превосходстве своей технологии интерфейса «мозг-компьютер» над конкурирующими проектами, включая разрекламированный Neuralink Илона Маска.

Источник изображений: Synchron

Мозговой датчик Synchron устанавливается без хирургического вмешательства в головной мозг. Он напоминает стент для расширения сосудов и вводится в яремную вену в районе шеи. Операция простая: стент по вене подводится к моторной зоне коры головного мозга, где считывает её активность. Передатчик сигналов устанавливается под кожу на груди пациента, откуда данные по беспроводной сети передаются на компьютер. Такие имплантаты установлены четырём гражданам Австралии и шести гражданам США.

На GTC компания Synchron продемонстрировала бесшовную интеграцию нескольких новых технологий: Apple Vision Pro, мультимодальной платформы обработки данных Holoscan от Nvidia и Sentrode — запатентованного компанией Synchron интерфейса, который устанавливает связь мыслей человека с физической средой. Данные о желаниях пациента (его мозговой активности) считывались имплантатом-стентом и передавались в систему AssistiveTouch гарнитуры Vision Pro.

«Мы создаём модель мозга, используя методы предварительного генеративного обучения, которые обучаются непосредственно на нейронных данных, абстрагируясь от основ человеческого разума, чтобы создавать функции, улучшающие жизнь наших пользователей, — сказал генеральный директор и основатель Synchron Том Оксли (Thomas Oxley). — Это возможно благодаря нашей способности масштабировать большие наборы данных, обещая сделать [интерфейс] BCI таким же распространённым, как установка [обычного] стента».

Во время демонстрации пользователь по имени Родни с помощью имплантированной системы силой мысли настроил температуру, освещение и музыку в своём доме, что компания демонстрировала в процессе экспериментов задолго до мероприятия.

Согласно целям компании, её интерфейс может помочь людям с параличом и другими серьёзными физическими нарушениями управлять технологиями без помощи рук и лучше взаимодействовать с окружающим миром. Данные, собранные в реальных условиях, помогут обучить «когнитивный ИИ», предназначенный как для медицинских целей, так и для более широкого использования. Для этого, в частности, Synchron вместе с Nvidia работают над концепцией Chiral. Это будущая система интерфейса «мозг-компьютер», которая сочетает в себе нейронную обработку в реальном времени с передовым искусственным интеллектом. Чтобы реализовать эту концепцию, необходимо будет достичь трёх ключевых целей.

Во-первых, разработать систему нейронного декодирования двигательных функций в реальном времени, что позволит пользователям управлять цифровой средой напрямую с помощью мозговых имплантатов с минимальной задержкой. Во-вторых, добавить информацию о реальном мире с помощью среды Nvidia Cosmos для составления карты окружения и понимания реалистичной физики. В-третьих, создать модель ИИ на основе анонимных пользовательских данных. Всё это станет основой Chiral — «самосовершенствующейся универсальной» модели как для медицинского, так и для общего использования.

Компания Synchron называет эту развивающуюся модель «когнитивным ИИ». Конечная цель — выйти «за рамки распознавания намерений, заложив основу для перехода от намерений к действиям в реальном времени» и создать «полномасштабную базовую модель мозга». Смелая идея, но в компании признают, что эта концепция пока остаётся гипотетической.

Учёные из Калифорнийского университета в Сан-Франциско (UCSF) создали платформу, способную вернуть парализованным людям возможность самостоятельных действий с помощью роботизированных рук. Управлять манипулятором можно силой мысли, представляя себе нужное действие. Ключевую роль в этом процессе играет искусственный интеллект.

Источник изображений: UCSF

Разработанная учёными платформа опирается на электрокортикографию (ЭКоГ) — систему выявления активных участков коры головного мозга. Обычно её применяют перед операциями на мозге, чтобы хирург не затронул критически важные зоны. Система и имплантаты ЭКоГ достаточно дорогие, но в данном случае они продемонстрировали высокую эффективность.

Пациент с полной парализацией всех конечностей был подключён через ЭКоГ к компьютеру с ИИ, который, в свою очередь, передавал команды на роботизированную руку. Алгоритм на основе машинного обучения распознавал активность участков мозга, отвечающих за движения рукой, и передавал соответствующие команды манипулятору. Пациент наблюдал за процессом и в режиме реального времени мысленно корректировал движения руки, что тут же передавалось на роборуку.

Исследователи отмечают, что такой метод обучения алгоритма с моментальной коррекцией ошибок на основе желаний пациента показал высокую эффективность. Более того, ИИ научился отслеживать смещение активности ответственных за движения участков мозга в соседние области коры.

В целом рисунок активности не изменялся, но зона активности «дрейфовала» по коре, отметили учёные. Обычно это потребовало бы перекалибровки имплантатов каждые несколько дней. Однако разработанная платформа на основе ИИ смогла самостоятельно учитывать этот сдвиг и оставалась работоспособной более семи месяцев без существенного вмешательства в настройки. Уже одно это делает проект многообещающим.

С помощью роборуки пациент смог брать и опускать предметы, пользоваться посудой и наполнять стакан жидкостью из диспенсера. Учёные также считают, что могут усовершенствовать платформу, например, снабдив роборуку машинным зрением. Это позволит машине помогать пациенту точнее выполнять действия, а также улучшит процесс обучения ИИ.

«Я полностью уверен, что теперь мы знаем, как создать систему, и сможем заставить её работать», — поделился мыслями один из участников исследования, результаты которого опубликованы в журнале Cell.

Исследователи из Техасского университета и Калифорнийского университета в Лос-Анджелесе разработали экспериментальный метод 3D-печати «татуировок» на голове из проводящих полимеров. Эти «татуировки» работают как традиционные электроэнцефалографические (ЭЭГ) электроды, которые применяются для интерфейсов мозг-компьютер (BCI) и обеспечивают управление роботизированными конечностями, компьютерами, а также объектами в среде виртуальной реальности.

Источник изображений: Cell Biomaterials

Мозг постоянно генерирует электрические сигналы, которые меняются в зависимости от разных мыслей и движений. Инвазивные (имплантируемые) интерфейсы BCI позволяют точно считывать сигналы мозга. Однако такой подход к реализации интерфейсов мозг-компьютер создают возможность заражения или отторжения имплантата, да и в целом не слишком безопасен. Печатать электроды на коже головы куда проще.

Электроды, размещённые на коже головы по одному или с помощью ЭЭГ-колпачков, также могут считывать сигналы мозга, пусть и не с такой точностью, как имплантаты. Последующая обработка полученных сигналов с помощью алгоритмов искусственного интеллекта позволяет улучшить точность считывание сигналов мозга, но без дополнительного обширного изучения этого направления, напечатанные ЭЭГ-электроды по точности будут сопоставимы с традиционной энцефалографией.

Разработанные исследователями из Техасского университета и Калифорнийского университета в Лос-Анджелесе электроды выполнены из проводящего полимера PEDOT:PSS, который наносится на голову в виде жидкости с помощью микроструйного 3D-принтера. «Чернила» просачиваются через волосы к коже головы, так что брить голову не придётся. После полимер можно просто смыть. Учёные отмечают, что PEDOT:PSS остаётся эластичным после застывания, так что его также можно использовать как для создания растягивающейся электроники, так и для растягивающихся дисплеев.

Процесс создания электродов начинается со сканирования головы пациента. После этого на компьютере подбирается необходимый дизайн ЭЭГ-электродов. Для печати десяти ЭЭГ-электродов требуется всего десять минут, а также пять минут для последующей калибровки. Это значительно меньше, чем обычно занимает процесс установки традиционных ЭЭГ-электродов. Кроме того, 3D-напечатанные электроды исключают необходимость в использовании специального влажного состава для лучшего контакта электрода с кожей. Обычно это вещество быстро высыхает, делая процесс традиционной энцефалографии неэффективным. Тесты на добровольцах показали потрясающие результаты. В то время как обычные электроды перестают быть эффективными через 6 часов, электронные «тату» продолжают считывать сигналы мозга в течение 24 часов и даже дольше.

О своём экспериментальном методе 3D-печати «татуировок» на голове из проводящих полимеров исследователи поделились в статье журнала Cell Biomaterials.

Стартап Inbrain Neuroelectronics из Барселоны добился разрешения на первые в мире эксперименты с перспективным нейроимплантатом из графена. В отличие от традиционных металлических электродов для считывания активности клеток мозга, графен не подвержен электрохимическим изменениям, что позволит использовать более мощную стимуляцию тканей с выраженным терапевтическим эффектом. Графеновые имплантаты будут не просто считывать сигналы, они будут лечить.

Источник изображения: Inbrain Neuroelectronics

Погружение электродов имплантатов в мозг или их тесный контакт с живыми тканями мозга равнозначно погружению металла в электролит. При прохождении даже слабого электрического сигнала на границе электролит/металл происходят так называемые фарадеевские (электрохимические окислительно-восстановительные) процессы, которые постепенно снижают эффективность электродов. Ситуация усугубляется, если требуется стимулировать ткани мозга более сильными импульсами, что, например, необходимо делать для проведения терапии (лечения).

Инженеры Inbrain Neuroelectronics предложили обойти это ограничение с помощью электродов из графена. Графен — это обычный углерод с высокой проводимостью, обусловленной его строением. В электролите он ни окисляется, ни восстанавливается. Имплантируемый в мозг графеновый датчик в виде массива точек мкм размера сможет считывать импульсы с нервной ткани пациента и, в случае необходимости, возвращать ей стимулирующие импульсы повышенной мощности без опасения вызвать ухудшение в работе электродов, а в мозг лишний раз лучше не влезать, с чем все согласятся.

Впервые в мире датчик Inbrain будет испытан этим летом в Университете Манчестера во время операции по удалению пациенту опухоли головного мозга. Датчик Inbrain будет использоваться в данном случае как регистратор здоровой ткани для определения границ опухоли, чтобы не удалить пациенту незатронутые болезнью области мозга. На следующем этапе датчик будет испытан на больном болезнью Паркинсона. Интерфейс в таком случае помещается в области нигростриарного пути, что поможет с высоким разрешением регистрировать мозговую активность пациента в процессе его активности.

На втором этапе датчик тоже не будет напрямую использоваться для восстановления здоровья пациента. Его задачей станет выявление симптомов, указывающих на улучшение или ухудшение течения болезни. Это должно помочь снизить приём часто небезопасных лекарств до 50 %.

На третьем этапе испытаний графенового нейродатчика его будут использовать непосредственно для терапии болезни Паркинсона. Предложенное решение будет способно выдержать без запуска фарадеевских реакций в 200 раз более сильный импульс, чем металлические электроды. Графеновые имплантаты компания уже проверила на биосовместимость с тканями мозга на «крупных животных» и уверена, что у людей не возникнет проблем совместимости с графеном.

С производством графеновых датчиков всё достаточно просто, заявляют в компании. Они могут выпускаться на любом даже не самом современном полупроводниковом заводе. Их толщина составляет 10 мкм, а точки-контакты будут размерами от 25 до 300 мкм.

Исследователи Массачусетского технологического института создали и испытали вместе с пациентами передовой бионический протез голеностопного сустава. Протез считывает сигналы о мышечных сокращениях на оставшейся части конечности и достраивает алгоритм работы недостающей части, транслируя его в сигналы для электромеханического протеза. С таким протезом пациенты могут танцевать, заявили учёные.

Источник изображения: Hugh Herr and Hyungeun Song / MIT

Операции по ампутации конечностей разрывают нервные связи и мышцы, участвующие в работе конечностей. Эти мышцы делятся на агонистов, которые отвечают за конкретные действия и антагонистов, которые совершают обратное движение. Как предположили в MIT, отсутствие (ампутация) агонистов не помешает восстановить нервный сигнал и реакцию на него протеза, если считать данные с мышц антогонистов.

С помощью специального хирургического вмешательства в процессе ампутации конечности на мышцах антагонистах создаётся интерфейс для считывания импульсов по их сокращению. Также операция должна предусматривать сохранение работы этих мышц, что, вероятно, потребует дополнительных хирургических действий по закреплению мышц со стороны ампутации. Затем эти сигналы считываются протезом голени, который заканчивается механической стопой с несколькими степенями свободы. Контроллер декодирует сигналы с мышц-антагонистов и направляет их на сервомоторы голеностопа, делая ходьбу пациента более естественной.

Нервные сигналы, приходящие в мышцы выше уровня ампутации, соответствуют намерениям человека двигать отсутствующей (фантомной) конечностью. Работа с семью пациентами показала, что во всех случаях интерфейс AMI (мионевральный интерфейс агонист-антагонист) сходу показывает свои лучшие качества, делая походку пациента более естественной и простой, а также снижает посттравматические боли в ампутированных частях конечностей. В MIT рассчитывают, что коммерческий вариант бионического протеза с интерфейсом AMI будет готов через пять лет. А пока на видео выше можно посмотреть, как пациент с механической ногой ходит по лестнице. Это просто фантастика.

Компания Augmental разработала и создаёт на заказ тачпады в виде зубной капы, пользоваться которыми можно языком и движениями головы. Устройство, батареи которого хватает на пять часов, позволяет парализованным людям пользоваться почти без ограничений современными информационными технологиями, возвращая возможность общения, учёбы и даже работы.

Источник изображения: Augmental

Капа MouthPad толщиной 0,7 мм содержит сенсорный датчик, который отслеживает положение и движения кончика языка, а также датчики для отслеживания движений головы. Тачпад настолько чувствительный, что позволяет полноценно работать со многими приложениями вплоть до набора математических формул, если это требуется для учёбы.

Производитель изготавливает тачпады MouthPad с помощью 3D-печати из сертифицированных стоматологических материалов, делая их максимально незаметными для пользователей (индивидуальное проектирование). Электроника, аккумулятор и сенсорная панель надёжно герметизируются во избежание контакта со слюной и выхода из строя. С гаджетами и компьютером устройство работает по Bluetooth. Со стороны почти незаметно, что человек управляет компьютером с помощью движений языка.

«Мы надеемся, что человек с серьёзными нарушениями сможет так же грамотно пользоваться телефоном или планшетом, как кто-то пользуется руками», — делятся в компании. Устройство уже получили много заказчиков от геймеров до программистов и просто желающих чем-то занять себя.

Поддержанная инвестициями Билла Гейтса (Bill Gates) и Джеффа Безоса (Jeff Bezos) компания Synchron, которая конкурирует с широко раскрученной в прессе компанией Neuralink Илона Маска (Elon Musk), начала собирать команду добровольцев для массовых испытаний собственных мозговых имплантатов.

Источник изображения: Synchron

Речь идёт о многих десятках человек. Для начала испытаний необходимо разрешение Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA), которое компания должна получить.

Нейрозонд Synchron считается более безопасным на всех этапах его использования, чем устанавливаемый прямо на мозг под череп чип Neuralink. Зонд Synchron вводится в яремную вену и по кровеносным сосудам подводится к участку моторной коры головного мозга. К настоящему времени зонд установили десяти пациентам: четырём в Австралии и шестерым в США. Благодаря зонду пациенты с парализованными конечностями получили возможность управлять курсором мышки на экране компьютера, а это прямой путь к социализации больных, которые сейчас обречены на одиночество и информационный вакуум.

По словам представителя компании, она создала реестр пациентов и медицинских учреждений, заинтересованных в участии в испытаниях. На данный момент с Synchron связались около 120 центров клинических испытаний. Это позволяет надеяться на привлечение десятков потенциально ценных кандидатов для участия в испытаниях, которые могут длиться несколько лет, прежде чем будут опубликованы результаты. Проведение подобных испытаний станет шагом в сторону коммерциализации мозгового имплантата Synchron и это, судя по всему, произойдёт намного раньше, чем в случае Neuralink.

Группа учёных из Университета Цинхуа сообщила, что разработанный ими мозговой имплантат вернул давно парализованному пациенту подвижность руки. Отмечается, что китайская разработка менее опасна для тканей мозга, чем имплантат компании Neuralink Илона Маска (Elon Musk). Имплантат Маска проникает в нервную ткань и разрушает часть нервных клеток в месте установки, тогда как китайский датчик накладывается поверх нервной ткани.

Источник изображения: Tsinghua University

На днях Илон Маск признался, что компания Neuralink провела первую операцию по установке мозгового имплантата в голову человека. Датчик Neuralink заглубляет в нервную ткань коры головного мозга тончайшие иглы. Заглубление происходит всего на 2 мм, но оно, без сомнения, разрушает часть нервных клеток в месте установки.

Китайские учёные пошли по другому пути. Около 10 лет команда из Цинхуа разрабатывала имплантат, который сохранял бы достаточную к мозговым сигналам чувствительность и не повреждал бы корковые нейроны, которые лишними не могут быть по определению, поскольку отвечают, в том числе, за память и навыки. Поэтому датчик Neural Electronic Opportunity или NEO, как они назвали свою разработку, помещается в эпидуральное пространство между мозгом и черепом. Оно также заполнено живыми тканями и сосудами, но нервной ткани в них нет.

Датчик NEO не имеет собственного питания. Оно у него беспроводное. Высокочастотная передающая антенна для передачи питания и блок управления, а также передатчик сигналов мозга на смартфон или компьютер смонтированы на внешней стороне черепа. Платформа работает через систему машинного обучения, которая совершенствует свои способности по мере реабилитационных мероприятий.

Первый имплантат был установлен пациенту 24 октября 2023 года. К настоящему времени учёные наблюдают «впечатляющий прогресс». Человек, который последние 14 лет после перенесённой травмы не мог двигать своими руками и ногами, с помощью мозгового имплантата научился управлять элементом экзоскелета на руке настолько, что смог самостоятельно принимать пищу. В декабре была проведена операция на другом пациенте, но он пока проходит стадию восстановления.

«Следующим этапом исследования является разработка нового протокола активной реабилитации с поддержкой интерфейса мозг-компьютер для ускорения роста нервной ткани на месте повреждённых сегментов спинного мозга», — сообщили в университете. Только лечением травм и заболеваниями нервной системы учёные не ограничатся. В перспективе они мечтают соединить мозг и компьютер таким интерфейсом, чтобы одно стало продолжением другого.

Американский стартап Niura разработал наушники-вкладыши для постоянного слежения за здоровьем мозга. Своевременно обнаружить нарушения в работе мозга, например, инсульт, означает спасти человеку здоровье и жизнь. В качестве бонуса технология Niura обещает создать рекомендательный сервис по предложению музыки на основе слежения за настроением пользователя, тем самым оберегая уже душевное здоровье человека.

Источник изображений: Niura

Стартап вырос из личных переживаний его организаторов, ближайшие родственники которых пострадали от поражений головного мозга. Сначала проект был создан на базе Arduino, и лишь затем был реализован в виде компактной платы со сторонами 20 × 12 мм, которая помещается в относительно компактные наушники.

Ключевым элементом устройства являются сухие силиконовые датчики-контакты, которые размещены по периметру наушников. Они обеспечивают достаточно хороший контакт с кожей и, по словам компании, не снижают чувствительность при обильном потоотделении.

Решение Niura простое в использовании и может использоваться постоянно в отличие от обычных датчиков для снятия электроэнцефалограммы (ЭЭГ). Это особенно важно, например, в ходе проведения операций на головном мозге. В обычных условиях ЭЭГ снимается до и после проведения операции, а с помощью наушников Niura это можно делать непосредственно в процессе проведения операции.

Близость внутриушного электрода наушников Niura к слуховой коре головного мозга, которая отвечает за обработку музыки и аудио, обещает раскрыть ещё один потенциал устройства. Наушники смогут различать настроение пользователей, и с помощью рекомендательного ИИ-сервиса будут воспроизводить музыку, соответствующую душевному состоянию.

Данные с наушников передаются в смартфон, где происходит их обработка. На всех этапах происходит шифрование трафика и данных в соответствии с требованиями американских регуляторов. Компания получила ряд предварительных патентов на ключевые технологии и ведёт переговоры с ведущими мировыми брендами о выпуске коммерческой продукции на основе платформы Niura. Самостоятельно этим она заниматься не будет. Будет только предоставлять лицензии.

До конца года планшет Amazon Fire Max 11 получит поддержку режима Eye Gaze on Alexa. Это позволит управлять планшетом с помощью одних только глаз. Люди с ограничениями речи или тактильных возможностей смогут самостоятельно запускать те или иные приложения на устройстве просто глядя на экран и выбирая взглядом желаемое. Для устройств Amazon это станет первым опытом использования активного слежения за глазами пользователей.

Источник изображения: Amazon

Планшет Amazon Fire Max 11 с 11-дюймовым экраном на 2,2-ГГц процессоре MediaTek MTK8188J под управлением Android 11 поступил в продажу в мае этого года. Поддержка режима Eye Gaze on Alexa будет внедрена позже в этом году. Она основана на ранее реализованной функции Tap to Alexa и, фактически, дублирует множество её возможностей по запуску приложений, опирающихся на распознавание касаний. Но теперь запустить видео или включить музыку, а также совершить ряд других действий, например, управлять освещением или бытовыми приборами в системе умного дома, можно будет без использования рук или голосовых команд, а с помощью одних только глаз.

По словам Amazon, которая впервые представила функцию Eye Gaze on Alexa вчера на мероприятии Amazon’s Devices, в её разработке компании помогали специалисты по работе с людьми с ограниченными возможностями. Иными словами, компания сделала всё, чтобы таким людям можно было пользоваться планшетом максимально комфортно.

В момент запуска поддержки Eye Gaze on Alexa на планшете Fire Max 11 управление глазами будет доступно пользователям из сильно ограниченного списка стран: в США, Великобритании, Германии и Японии. Можно рассчитывать, что со временем этот список будет расширен.

Другой полезной опцией на устройствах Amazon станет приложение по переводу звонков с одного языка на другой. Звонки и видеозвонки будут сопровождаться субтитрами, что также оценят слабослышащие, а также аудиопереводом в реальном времени на выбранный язык. Поддержка режима Call Translation появится на устройствах Echo Show и в мобильном приложении Alexa. Она будет доступна в США, Великобритании, Канаде, Мексике, Германии, Франции, Испании и Италии на более чем 10 языках, включая английский, испанский, французский, немецкий и португальский.

В журнале Nature вышли две статьи, в которых учёные рассказали о новых методиках трансляции мыслей пациентов с поражениями мозга в речь и эмоции. Преобразование мозговой активности в текст и голосовое общение происходит с помощью алгоритма машинного обучения. Учёным удалось увеличить скорость преобразования почти в четыре раза с 18 слов в минуту до 78. Это ниже среднего для обычного разговора темпа в 160 слов в минуту, но кратно быстрее, чем было до этого.

Источник изображений: Noah Berger/UCSF

Нейродегенеративные заболевания, инсульты или травмы способны лишить человека речи разными способами, но один из них достаточно легко поддаётся исправлению. Современные технологии позволяют создать мостик между здоровыми участками мозга, отвечающими за речь или мысленное произношение, и мышцами, управляющими мимикой и позволяющими говорить. Естественный канал коммуникации между мышцами и мозгом может быть разорван в случае болезни или травмы, и тогда на помощь приходит интерфейс человек-компьютер и обучаемый алгоритм.

В мозг пациента встраивается датчик или несколько датчиков с электродами, входящими в зоны активности мозга человека, ответственные за произношение и речь (хотя учёные пока не до конца понимают, какие это зоны). В одном случае, например, учёные установили на речевую область сенсомоторной коры и на область верхней височной извилины женщины после инсульта 253 электрода. После болезни она не могла говорить и даже печатать.

В течение нескольких недель ИИ обучался на примере произношения пациенткой 1024 слов из специально подобранного словаря. Для упрощения работы алгоритма он разбивал все слова на фонемы, которых было всего 39. Затем словарный запас женщины был расширен до 125 тыс. слов. Машинный алгоритм смог распознавать мысленное произношение женщины с ошибками на уровне 25 %, но со скоростью до 78 слов в минуту.

Алгоритм также научили распознавать эмоции пациентки — горе, радость, удивление. Наконец, используя старую видеозапись женщины, учёные создали её компьютерный образ — аватар — и заставили его транслировать текстовые сообщения в голосовые. По сути, они вернули пациентке возможность разговаривать.

Сегодня подобные процедуры восстановления сопряжены с длительным обучением ИИ и необходимостью быть постоянно подключённым к компьютеру. Учёные из Калифорнийского университета в Сан-Франциско (UCSF) и Калифорнийского университета в Беркли, которые реализовали представленную методику, теперь работают над беспроводными вариантами транслятора. Когда-нибудь это повысит социальную вовлечённость людей с подобными медицинскими проблемами.

Исследователи Калифорнийского университета (UC) в Беркли впервые получили музыкальную композицию, воссозданную по сигналам из мозга человека. Пациенты прослушивали трек «Another Brick in the Wall (Part 1)» группы Pink Floyd, а имплантированные в мозг датчики снимали показания. Различение ритма и мелодии в сигналах мозга поможет разработать имплантаты для людей, страдающих нарушениями в области восприятия речи и эмоций и не только.

Источник изображения: Pixabay

Для поиска зон мозга, ответственных за восприятие музыки в широком смысле этого слова, в мозг 29 пациентов были имплантированы по 2268 электродов. Всем им ставили композицию Pink Floyd «Ещё один кирпич в стене», ставшую классикой рока. Параллельно прослушиванию с датчиков снимались показания мозговой активности, которые затем расшифровывали с помощью линейного и нелинейного ИИ-алгоритма.

Что в итоге получилось, можно прослушать в ролике ниже. Ценители Pink Floyd могут прийти в ужас от услышанного. С другой стороны, мозг может служить своеобразным фильтром, придающим композиции новизну и определённую оригинальность. Нельзя исключать, что это, в том числе, приведёт к появлению новых музыкальных находок и даже направлений.

При поиске ориентированных на музыку областей в головном мозге учёные решали другую задачу. Есть большой класс пациентов, страдающих от нарушений в восприятии и воспроизведении речи. В общем случае это называется просодией. Просодия подразумевает невозможность выделить в речи эмоции, ударения, акценты и другие нюансы, что сильно ограничивает страдающих ею в социализации. Считывание мелодии прямо с мозга помогло определить центры, отвечающие за мелодику и ритм. Фактически это путь к преодолению недуга с помощью имплантатов и ИИ-алгоритмов.

Источник изображения: Ludovic Bellier/CC-BY 4.0

Оказалось, что за музыкальную активность мозга отвечают другие отделы, чем те, которые поддерживают речь. Прежде всего — это верхняя височная извилина, а также области в сенсорно-моторной коре и нижней лобной извилине. В этих областях были расположены 347 электродов из 2268, установленных для эксперимента. Это то разрешение, с которым была считана с мозга легендарная композиция Pink Floyd, что наверняка можно улучшить в последующих экспериментах. Интересно, как к этому отнесутся правообладатели?

Исследователи из Института Файнштейна американской медицинской сети Northwell Health впервые обеспечили двойной искусственный обход поражённой нервной системы пациента. Встроенные в головной мозг человека имплантаты вернули подвижность и чувствительность руки. Не обошлось и без помощи искусственного интеллекта.

Источник изображений: Matthew Libassi / Northwell Health’s Feinstein Institutes for Medical Research

При подготовке к операции хирурги с помощью фМРТ провели многочисленные оценки зон головного мозга пациента, чтобы с максимальной точностью определить место размещения имплантатов — чипов, распознающих активность головного мозга в его отдельных областях. Но даже после этого в процессе 15-часовой операции на открытом мозге они консультировались с пациентом для уточнения мест установки датчиков.

Два имплантата считывали «мысли» пациента о желании двигать рукой, а три других принимали сигналы от датчиков на руке и запястье. Фактически врачи запустили два обходных пути для нейросигналов, барьером на пути которых стала травма позвоночника (спинного мозга). Один шунт заставлял руку совершать движения через систему накладных электродов (на позвоночник и предплечье), а другой возвращал в мозг сигналы от датчиков тактильных ощущений. Дальше мозг справлялся сам — связывал одно и другое и выстраивал новые нейронные цепи в головном мозге таким образом, чтобы человек воспринимал движение руки и тактильный отзыв в едином пакете.

По словам хирургов, это первый в истории случай, когда спинной мозг обошли двумя маршрутами. Ранее проводились экспериментальные операции, когда шунт, минуя поражённый спинной мозг, передавал расшифрованные компьютерным алгоритмом желания двигаться в мышцы конечностей. Но обратной связи до сих пор никто не организовывал, чтобы тактильные ощущения возвращались в мозг в обход повреждённых нервных тканей.

Между тем, обратная связь может помочь в восстановлении функций мозга, отвечающих за движения конечностей и их чувствительность. Проще говоря, по мере обучения мозг может научиться обходиться без компьютерных алгоритмов и случай с этим конкретным пациентом Northwell Health это подтвердил. После двойной стимуляции 45-летний парень с парализованными руками и ногами смог частично вернуть чувствительность руки и в два раза увеличил силу её сжатия.

Миллионы пациентов с подобными травмами могут надеяться вернуть подвижность и чувствительность конечностей, что обеспечит им развитие подобных технологий.