ИИ научили читать мысли томографом и сразу превращать их в текст

Новые компьютерные технологии обещают головокружительные перспективы в области помощи людям с поражениями мозга или нервной системы. Пока такие решения не очень чувствительные и весьма громоздкие, и это лишь вопрос времени, когда они станут доступны широкому кругу пациентов. Приблизить этот момент могут системы искусственного интеллекта, которые на принципе самообучения способны кратно повысить чувствительность мозговых интерфейсов.

Мозг шлёт телеграммы. Источник изображения: Jerry Tang/Martha Morales/The University of Texas at Austin

Очередной шаг в направлении неинвазивных методов регистрации мыслей сделали учёные из Техасского университета в Остине, представив семантический декодер. Они использовали метод функциональной магнитно-резонансной томографии (фМРТ) для регистрации активности головного мозга пациентов, которую с помощью ИИ — машинного обучения на больших языковых моделях, подобных GPT от Open AI — транслировали в образы с помощью текстовых сообщений. Проще говоря, модель прямым текстом в чате сообщала всё то, о чём в данный момент думает человек. Но при этом всё не так просто.

Во-первых, описание было тем точнее, чем охотнее пациент сотрудничал с учёными. Это, кстати, предотвращает насильственное чтение мыслей. Если вы не хотите выдавать «мысли» — думайте о чём-то другом. Во-вторых, данные интерпретировались правильно только в том случае, если ИИ обучался на конкретном пациенте. В частности, каждый из испытуемых в течение 16 часов прослушивал устную речь, в процессе чего модель изучала активность его мозга. Если же ИИ пытался расшифровать мысли, не обучаясь на мозговой активности подопытного, то результаты были неразборчивыми.

«Мы очень серьёзно относимся к опасениям, что это может быть использовано в плохих целях, и постарались этого избежать, — сказал Джерри Танг (Jerry Tang), ведущий автор исследования. — Мы хотим убедиться, что люди используют подобные технологии только тогда, когда они этого хотят, и что это им помогает».

Предложенное решение опирается на то, что в процессе создания образов в голове и, в частности, словесных конструкций уровень кислорода повышается там и тогда, когда мозг реагирует на что-то определённое. Это может быть как визуализация (ниже показан пример дешифровки с помощью ИИ активности мозга при просмотре ролика без звука), а также собственные мысли пациента. Прибор фМРТ регистрирует такие области, а машинное обучение связывает их с образами и транслирует в понятный всем текст.

Результат не является дословным пересказом мыслей. Вместо этого исследователи разработали систему таким образом, чтобы она улавливала суть сказанного или продуманного, и система работает, хотя и несовершенно. Примерно в половине случаев, когда дешифратор обучен отслеживать мозговую активность участника, машина выдает текст, близко (а иногда и точно) соответствующий смыслу исходных слов.

Например, в ходе экспериментов участник слышал фразу «У меня еще нет водительских прав», которую декодер переводил свои «Она еще даже не начала учиться водить». Слова «Я не знала, что делать: кричать, плакать или убегать. Вместо этого я сказала: "Оставь меня в покое!"» были расшифрованы как «Начала кричать и плакать, а потом просто сказала: "Я же сказала тебе оставить меня в покое"».

Скорость такой регистрации низкая — уровень кислорода повышается и понижается в течение 10 секунд. За это время человек успевает услышать около 20 слов. Фактически это сегодняшний уровень расшифровки образов. На каждый образ, который можно декодировать исходя из зарегистрированной таким образом активности головного мозга человека, требуется интервал примерно в 20 слов.

Платформа фМРТ требует работы в лабораторных условиях, что не годится для её массового применения. Исследователи считают перспективным другой подход, который даёт тот же результат — это функциональная спектроскопия в ближней инфракрасной области (fNIRS). Датчики fNIRS компактные и в этом плане удобные. Они фиксируют активность кровотока в головном мозге и поэтому могут опираться на тот же принцип и ту же модель обучения, что и в случае фМРТ. Возможно, это станет следующим шагом в исследованиях научной группы.