Учёные смогли посмотреть на мир глазами мыши: ИИ помог восстановить видеоряд по сигналам мозга грызуна

Группа учёных Федеральной политехнической школы Лозанны (Швейцария) разработала основанную на алгоритмах искусственного интеллекта систему, способную в реальном времени интерпретировать сигналы мозга грызунов и по ним реконструировать то, что видит мышь. В частности, учёные смогли по мозговым сигналам восстановить видео, которое показывали мыши.

Источник изображения: youtube.com/@epfl

Учёные назвали свой ИИ-алгоритм CEBRA — он был обучен на сопоставлении нейронной активности и определённых кадров видео. Это позволило ему впоследствии предсказывать и реконструировать видеоклипы, которые смотрит мышь. В демонстрационном ролике примером послужил фрагмент снятого в шестидесятых чёрно-белого фильма, на котором человек подбегает к машине и открывает её багажник. На другом экране показан восстановленный CEBRA видеоряд — записи почти идентичны, хотя на второй изображение периодически подёргивается.

Регистрация и измерение мозговой активности грызуна производились при помощи электродов, подключённых к области зрительной коры их мозга; а также при помощи оптических зондов генетически модифицированных особей, чьи нейроны подсвечивались зелёным при передаче информации. Мышам давали смотреть фильмы и в реальном времени регистрировали активность их мозга, сопоставляя два потока данных и тем самым обучая CEBRA — алгоритм усвоил, какие сигналы мозга были связаны с конкретными кадрами ленты.

Затем алгоритм ИИ получил в качестве входных данных незнакомый для себя поток мозговой активности от мыши, которая смотрела другой фрагмент видео. Исходя из этого, система CEBRA смогла сама в реальном времени восстановить соответствующие этим сигналам кадры, которые учёные объединили в отдельный фильм.