Intel объявила о разработке новейшей нейроморфной компьютерной системы Hala Point — она оборудована 1152 нейроморфными процессорами Loihi 2 и предназначена для перспективных исследований в области искусственного интеллекта, поскольку её архитектура основана на строении мозга.

Источник изображений: Intel

В массовое производство Hala Point не поступит — это исследовательский прототип, который Intel развернула в Сандийских национальных лабораториях, входящих в состав Национальной администрации по ядерной безопасности (NNSA) при Министерстве энергетики США. Hala Point, по словам разработчика, поддерживает до 30 квадриллионов операций в секунду или 30 POPS (Петаопс) с эффективностью выше 15 трлн 8-битных операций в секунду на ватт «при обработке обычных глубоких нейросетей».

Наряду с 1152 процессорами Loihi 2 система Hala Point поддерживает до 1,15 млрд нейронов и 128 млрд синапсов, распределенных по более чем 140 000 нейроморфным процессорным ядрам. Она также включает 2300 встроенных x86-процессоров. Система обеспечивает пропускную способность памяти в 16 Пбайт/с, пропускную способность межъядерных соединений 11 Пбайт/с и пропускную способность соединений между чипами 5,5 Тбайт/с. По сравнению с исследовательской системой первого поколения Pohoiki Springs нейронная ёмкость выросла в 10 раз, а производительность — в 12 раз. Предполагается, что учёные Сандийских национальных лабораторий и исследователи NNSA будут использовать Hala Point для «масштабной реализации вычислений [на архитектуре] по образцу мозга». Возможно, это поможет в решении задач в области физики, химии и окружающей среды.

«Hala Point может решать задачи по оптимизации, потребляя в 100 раз меньше энергии и со скоростью в 50 раз выше, чем традиционные архитектуры центральных и графических процессоров. Это новая захватывающая область исследований, в которой алгоритмы для Loihi 2 во многом основаны на архитектуре мозга и кардинально отличаются от ведущих алгоритмов, разработанных для архитектур центральных и графических процессоров. Приложения для таких функций оптимизации включают логистику, маршрутизацию автопарка, планирование движения по железной дороге, управление инфраструктурой умного города и другие подобные рабочие нагрузки, связанные с планированием и поиском», — рассказал директор Лаборатории нейроморфных вычислений в Intel Labs Майк Дэвис (Mike Davies).

Стоимость Hala Point в Intel не раскрыли, но доступ ко «множеству небольших систем для членов сообщества нейроморфных исследований Intel предоставлен через облачную платформу». Эта программа бесплатна и открыта для академических, государственных и бизнес-клиентов.

Хотя компьютеры, программы и нейросети в ряде задач абсолютно превосходят человеческий мозг, они всё так же далеки от копирования его структуры и принципов работы. Мозг — это тонкая материя, точное программно-аппаратное воспроизведение которой если и произойдёт, то ещё совсем не скоро. Российские учёные предложили способ ещё немного приблизиться к этой мечте, добавив в нейросеть аналоги важных вспомогательных клеток мозга.

Источник изображения: ИИ-генерация Кандинский 3.0/3DNews

Мозг — это не только сеть нейронов. Чтобы нейроны жили, работали и развивались их обслуживают вспомогательные клетки. В общем, они относятся к глиальным клеткам мозга, которых выделено несколько типов. Эти клетки выводят продукты распада, подводят питание, подавляют патогены и, как показывают последние исследования, оказывают непосредственное и существенное влияние на активность и обучаемость нейронов и нейронных сетей.

Искусственные нейронные сети очевидным образом упрощены и в их архитектуре не предусмотрены элементы с функциями глиальных клеток. Кто в здравом уме будет проектировать архитектуру, в которой к отдельным логическим элементам будут приставлены цепи для слежения за микроклиматом, поступлением питания, отводом тепла и токами утечки? В комплексе и косвенно всё это и так решается, но не на уровне отдельных «нейронов», а на уровне чипов. Оказалось, что вспомогательные клетки мозга могут быть крайне важны также для искусственных мозгов.

ТАСС со ссылкой на пресс-службу Российского научного фонда (РНФ) сообщает: «Эксперименты последних лет показывают, что эти тельца [астроциты и микроглия] не только питают нейроны и защищают их от инфекций, но и играют важную роль в регуляции их активности и в запоминании новой информации. Руководствуясь подобными соображениями, исследователи разработали цифровой аналог астроцитов, способный взаимодействовать с остальной нейросетью, и встроили их в разрабатываемую ими нейроморфную систему ИИ».

Добавление подобных клеток в искусственную нейронную сеть позволило на 20 % превзойти аналоги в опытах с распознаванием изображения цифр и букв и при воспроизведении ранее полученной информации. Преуспели в этом учёные Нижегородского государственного университета (ННГУ), которые также предлагают использовать новшество для более точной имитации работы головного мозга человека и животных.

Предложенная учёными новая архитектура нейросети состоит из трёх слоёв, один из которых играет роль аналогов пирамидальных нейронов мозга, воспринимающих сигналы; второй состоит из подобий вставочных нейронов, распространяющих эти сигналы по сети; а третий сложен из цифровых астроцитов. Между искусственными нейронами передаются подобия электрических импульсов, а между астроцитами и нейронами — аналоги химических сигналов, которые выделяются естественными клетками в головном мозге. Искусственная нейросеть станет ещё больше похожа на живой мозг, что манит и страшит одновременно.

Не секрет, что головной мозг работает не так, как электронные цепи компьютера. У них разная архитектура, сблизить которую мечтает не одно поколение учёных. Мозг хранит и обрабатывает данные в одном месте, тогда как компьютер постоянно пересылает их между процессором и банками памяти. Главная проблема в отсутствии подходящей ячейки памяти, которая одновременно играла бы роль транзистора, с чем обещают помочь учёные из США.

Источник изображения: ИИ-генерация Кандинский 3.0/3DNews

Команда учёных из Северо-Западного университета (Northwestern University), Бостонского колледжа (Boston College) и Массачусетского технологического института (MIT) сообщила, что они создали и испытали так называемый синаптический транзистор, который оказался способен работать в составе нейронных сетей с ассоциативным обучением. Главным преимуществом разработки учёные считают способность транзистора работать при комнатной температуре с предельно маленьким потреблением 20 пВт (пиковатт).

В живой нервной ткани синапс представляет собой зазор между окончанием одного нейрона и началом другого (если речь идёт о головном или спинном мозге). В этом зазоре происходят биохимические реакции, которые отвечают за передачу нервного импульса дальше или за его блокировку. Представленный учёными транзистор выполняет сходную функцию, но в своей работе он использует физические явления и процессы.

По большому счёту разработка относится к сфере муаровых квантовых материалов. Во многих случаях такие материалы работают в условиях криогенного охлаждения. Поэтому для команды исследователей было важно показать эффект при комнатной температуре, с чем они успешно справились.

Транзистор, если его так можно назвать, представляет собой два наложенных друг на друга слоя материала атомарной толщины, слегка смещённых друг относительно друга в горизонтальной плоскости. Один слой — это графен, а второй слой — это нитрид бора с гексагональной решёткой. Поворот одного из них на определённый угол создаёт муаровый узор из двух совмещённых структур, и в этом всё волшебство. Правильные углы, при которых проявляются отчётливые взаимодействия, даже принято называть магическими.

При определённых углах поворота кулоновские взаимодействия между двумя материалами переходят в разряд экзотических электрических взаимодействий, которые в обычных материалах не встречаются, что открывает потенциал для использования таких структур в будущей электронике с непознанной до конца функциональностью.

К чести исследователей, они пошли дальше и создали на основе представленных условных транзисторных переходов ряд нейронных цепей, которые показали способность к ассоциативному обучению. Экспериментальные схемы обучались распознавать группы цифр в бинарном кодировании, с чем они успешно справились. Например, нейронные цепи отделили комбинации 000 и 111 от 101, показав ассоциативную связь первых и их отличие от третьей комбинации. Таким образом, сообщают в аннотации к статье в журнале Nature учёные, «муаровый синаптический транзистор обеспечивает эффективные схемы вычислений в памяти и [обещает] передовые аппаратные ускорители для искусственного интеллекта и машинного обучения».

Австралийские учёные приступили к созданию суперкомпьютера, имитирующего самую эффективную в мире обучающуюся машину — речь идёт о нейроморфной системе, способной выполнять те же 228 трлн синаптических операций в секунду, что и человеческий мозг.

Источник изображения: westernsydney.edu.au

По мере вступления эпохи искусственного интеллекта в свои права приходит понимание, что этот технологический скачок является одним из наиболее значительных в истории цивилизации, и скоро ИИ глубоко проникнет во все сферы нашей жизни. Но ему требуются колоссальные вычислительные мощности, и при сохранении нынешней тенденции, когда NVIDIA является единственным поставщиком ИИ-ускорителей, отрасль рискует выйти на энергопотребление, сравнимое с нуждами небольших стран. При этом человеческий мозг так и остаётся самым совершенным компьютером, потребляющим всего 20 Вт энергии.

Это побудило учёных из Университета Западного Сиднея (Австралия) запустить проект по созданию нейроморфного суперкомпьютера DeepSouth — первой в мире машины, моделирующей импульсные нейронные сети в масштабах человеческого мозга. «Прогресс в понимании того, как мозг производит вычисления при помощи нейронов, сдерживает наша неспособность моделировать подобные мозгу сети в больших масштабах. Смоделированные импульсные нейросети на стандартных компьютерах с использованием графических (GPU) и многоядерных центральных процессоров (CPU) слишком медленны и энергоёмки. Наша система это изменит. Платформа поможет улучшить наше понимание мозга и разработать вычислительные приложения в масштабах мозга в различных областях, включая сенсорику, биомедицину, робототехнику, космос и крупномасштабные приложения искусственного интеллекта», — прокомментировал проект профессор Андре ван Шайк (André van Schaik), директор Международного центра нейроморфных систем при Университете Западного Сиднея.

Как ожидается, DeepSouth будет запущен в апреле 2024 года. Он сможет обрабатывать большие объёмы данных с высокой скоростью, оставаясь меньше других суперкомпьютеров и потребляя гораздо меньше энергии благодаря архитектуре импульсной нейронной сети, говорят учёные. Система является модульной и масштабируемой — она содержит доступное на рынке оборудование, а значит, в будущем её можно будет расширять или, напротив, сокращать для решения конкретных задач. Цель проекта — приблизить системы ИИ к механизмам работы человеческого мозга, изучить механизмы работы мозга и при благополучном исходе добиться успехов, актуальных в других областях.

Примечательно, что другие исследователи подошли к той же проблеме с диаметрально противоположной стороны: недавно американские учёные вырастили ткань человеческого мозга, подключили её к компьютеру и добились впечатляющих результатов.

Учёные из США и Австралии создали нейроморфный процессор из множества серебряных нанонитей. Тысячи нанопроводков уложили друг на друга в случайном порядке, и весь этот хаос поместили на группу обычных входных и выходных контактов. Всё вместе превратилось в нейроморфную сеть, которую удалось научить распознавать рукописные цифры с невероятной точностью.

Источник изображения: Zhu et al. / Nature Communications

В процессе подачи входных сигналов на пересечениях тысяч нитей возникли сотни тысяч контактов. В этих контактах стали протекать реакции электрохимической гальванизации и возникло что-то вроде памяти. Для обучения «мозга» учёные воспользовались базой MNIST, которая содержит множество вариантов рукописного написания цифр. Каждое прохождение входных данных сопровождалось множеством переходных процессов в клубке нанонитей. Скорее всего, исследователи даже не выясняли что, где и каким образом работает на результат.

После обучения система стала распознавать рукописные цифры с точностью 93,4 %, о чём рассказано в свежей статье в журнале Nature Communications. Такой искусственный мозг не обладает памятью для более сложной обработки результата. Он работает в режиме онлайн, передавая на выход распознанную информацию, что для ряда приложений будет достаточно. Преимущества решения очевидны — оно копеечное в отличие от ускорителей ИИ баснословной стоимости. То же самое касается потребления энергии для решения прикладной задачи. «Мозг» из нанонитей будет потреблять крайне мало.

Эта разработка Калтеха и Сиднейского университета пока ещё сырая, но потенциал её может быть огромным с учётом простоты изготовления и заявленных возможностей. Как минимум, можно распознавать старые капчи.

Группа учёных во главе со специалистами из Научно-технологического университета имени короля Абдаллы (KAUST) открыла способ радикального улучшения ферроэлектрических материалов. Принудительный ввод протонов в ферроэлектрические плёнки кратно увеличил разнообразие фаз поляризации в материале. На этой основе можно создать высокоплотную компьютерную память и нейроморфные процессоры.

Насыщение ферроэлектрика протонами в представлении художника. Источник изображений: KAUST; Fei Xue

Для своих экспериментов учёные взяли селенид индия, который, как и все ферроэлектрики, имеет естественную поляризацию и может менять её под воздействием магнитного поля. Эта особенность делает такие материалы привлекательными для разработки компьютерной памяти и коммутаторов (транзисторов). Но есть и ограничения — ячейки такой памяти довольно большие по объёму материала и площади, что делает такую память менее плотной.

Одно из ограничений для наращивания плотности записи ферроэлектрической памяти заключается в ограничении образования поляризационных фаз, а также со сложностью их регистрации (считывания). Учёные KAUST обошли это препятствие с помощью протонирования селенида индия или благодаря насыщению его протонами.

Для эксперимента плёнка из селенида индия была помещена на слой пористого кремния. Кремний, в свою очередь, покоился на изолирующем слое из оксида алюминия, а алюминий был нанесён на слой платины, которая играла роль одного из электродов. В этой схеме кремний работал как электролит, который доставлял протоны в плёнку селенида индия после подачи напряжения на электроды. В зависимости от полярности протоны либо мигрировали в плёнку ферроэлетктрика, либо выводились из неё.

Исследователи постепенно вводили и выводили протоны из ферроэлектрической пленки, изменяя приложенное напряжение. В результате было получено несколько ферроэлектрических фаз с различной степенью протонирования, что очень важно для реализации многоуровневых устройств памяти с большой ёмкостью. Повышение положительного напряжения усиливало протонирование, а повышение отрицательного напряжения значительно снижало его уровень.

Экспериментальная установка

Также уровень насыщения протонами ферроэлектрика изменялся в зависимости от близости слоя плёнки к кремнию. Он достигал максимальных значений в нижнем слое, контактирующем с кремнием, и затем поэтапно снижался, достигая минимальных значений в верхнем слое. Сюрпризом стало то, что снятие напряжение вывело все протоны из материала и он вернулся в исходное состояние. Для энергонезависимых приборов это минус. Но в целом открытие обещает оказаться интересным — учёные смогли изменять электрические состояния материала при напряжении менее 0,4 В. Для малопотребляющей электроники — это крайне важно.

«Мы намерены разработать ферроэлектрические нейроморфные вычислительные чипы, которые будут потреблять меньше энергии и работать быстрее», — заявили учёные в статье, которую опубликовал журнал Science Advances.

Французский исследовательский центр CEA-Leti разработал транзистор с примерно 50 состояниями, а не с двумя, как у современной цифровой электроники. «Аналоговый» транзистор имитирует работу синапсов в нервной ткани человеческого мозга и делает это довольно близко по таким характеристикам, как энергопотребление и скорость. Планируется, что на основе новых транзисторов будут построены нейронные процессоры нового поколения с впечатляющими возможностями.

Источник изображения: Pixabay

Возможно, эта разработка ближе всего подошла к имитации того, как взаимодействуют нейроны мозга, считают в CEA-Leti. Транзистор также миниатюрен как синапс, потребляет столько же и работает на том же принципе — срабатывает не по одному импульсу, а после прихода критической «массы» сигналов. Синапс ведь не отзывается на одиночные нервные импульсы. Для запуска сигнала дальше по нервной сети требуются множественные стимулирующие реакции через синапсы. Только тогда конкретный нейрон запустит потенциал по своей сети дендритов для передачи информации другим связанным с ним нейронам.

Другое сходство между новым транзистором и синапсом заключается в том, что оба они являются ионными. Транзистор использует преимущества той же электрохимической реакции, что и синапс. В случае с транзистором его канал состоит из оксида титана, через который проходят ионы лития. В зависимости от их количества они изменяют электронную проводимость канала. Благодаря этому транзистор потребляет 1 фДж/мкм², столько же, сколько синапс. Это в 100 раз меньше, чем у других возможных решений, включая перспективную резистивную память.

Толщина транзистора всего 200 нм, а число циклов переключения более 100 тыс. Исследователи научились выпускать массивы транзисторов на 200-мм кремниевых пластинах с использованием стандартных КМОП-совместимых техпроцессов. Массивы транзисторов были испытаны в работе на эталонном тесте MNIST на распознавание изображений и показали хороший результат. Но предстоит ещё большая работа по подтверждению квалификации транзисторов для использования в нейронных чипах.

«Все эти элементы обнадеживают, но мы находимся только на первых этапах процесса оценки. Мы должны продолжать доводить транзистор до зрелости и обеспечить углубленную оценку его долговечности и надежности», — объяснил один из учёных из CEA-Leti.

Лаборатория нетрадиционных вычислений в Университете Западной Англии в Бристоле занялась проблематикой грибных компьютеров — вычислительных систем на основе жизнедеятельности грибных культур. Предыдущие исследования и новые эксперименты обнаруживают в грибных организмах признаки, схожие с деятельностью нервных тканей мозга человека. Британские учёные намерены создать на этой основе нейроморфные вычислители и найти их признаки в живой природе.

Источник изображений: Andrew Adamatzky

Ранее специалисты лаборатории работали со слизистой плесенью Physarum polycephalum. Этот биологический организм интересен тем, что способен самостоятельно выполнять простейшие алгоритмы. В своё время были представлены роботизированные системы под управлением Physarum polycephalum. Например, такая платформа без программирования могла ориентироваться в лабиринте и, если брать шире, позволяла решать задачу Штейнера о минимальном дереве.

С 2016 года или около того, сообщает Popular Science, лаборатория перешла на изучение грибных культур. Сегодня не первое апреля и этот материал не следует расценивать как шутку, о чём сразу подумало множество подписчиков журнала. Специалистам лаборатории удалось первыми обнаружить электрические сигналы в грибнице, напоминающие спайки — потенциалы, распространяющиеся в нервной ткани человека и животных, включая головной мозг.

Эксперимент по выращиванию грибниц на материнской плате

Присутствие «нервных» сигналов, распространяющихся в мицелии грибов, открывает перспективу разработки нейроморфных компьютеров на базе грибниц. Подобное можно перенести на живую природу с перспективой заплести нейроморфными сетями всю планету. Более того, учёные обнаружили, что стимуляция одних и тех же участков мицелия улучшает проводимость импульсов. Тем самым можно говорить об эффекте памяти. Всё сходится — мицелий позволяет организовать сеть, логику и память. Правда, как всё это организовать в нужную и программируемую архитектуру учёные пока не знают, но стремятся понять.

Фиксация электрической активности в мицелии

«Сейчас это только технико-экономические исследования. Мы просто демонстрируем, что с помощью мицелия можно осуществлять вычисления, реализовывать основные логические схемы и основные электронные схемы, — говорит глава лаборатории Эндрю Адамацки (Andrew Adamatzky). — В будущем мы сможем выращивать на мицелии более совершенные компьютеры и устройства управления».

Индустрия пришла к производству 3-нм транзисторов и идёт дальше несмотря на множество препятствий. Но как далеко нам позволено зайти в создании самого маленького вычислительного элемента? Учёные из Университета Тулейна, штат Луизиана, на основе эксперимента показали, что компьютеры можно будет строить даже на таких маленьких фундаментальных строительных блоках, как атомы. Одного атома достаточно, чтобы хранить и обрабатывать данные.

Источник изображения: Pixabay

Поскольку мы подходим к границе возможностей современных техпроцессов, важно заранее ответить на вопросы, что такое «компьютер» и насколько малой может быть вычислительная единица. Учёные из Луизианы взяли на себя смелость и продемонстрировали, что атомы вполне годятся на эту роль, а вся обработка и ввод-вывод информации будут полностью оптическими.

«У нас была идея, что способность к вычислениям — это универсальное свойство, которым обладают все физические системы, но в рамках этой парадигмы существует огромное количество рамок для того, как можно было бы попытаться выполнить вычисления», — сказал один из ведущих авторов работы.

Учёным важно было доказать, что система на одном атоме с полностью оптическими входом и выходом будет демонстрировать нелинейные свойства. Это тем более важно, что на передний план выходят нейроморфные вычислители или ИИ-вычислители, отчасти повторяющих работу мозга и, следовательно, нелинейные по своей сути.

Развивая свою концепцию, группа учёных предложила нелинейный одноатомный компьютер с входной информацией, закодированной непосредственно в свет, и выходом также в виде света. Фильтры на выходе такой системы определяют результат вычислений.

«Наши исследования подтвердили, что этот подход работает в принципе, а также доказали тот факт, что система работала лучше, когда входной свет был представлен таким образом, чтобы вызвать более высокую степень нелинейности в системе, — поясняет автор. — Я бы, наверное, сказал, что этой работой мы пытаемся подчеркнуть, что минимальная система, способная к вычислениям, действительно существует на уровне одного атома, и что вычисления могут быть выполнены исключительно с помощью оптических процессов».

Современные нейроморфные процессоры, производимые на основе классических КМОП-техпроцессов, сильно ограничены в возможностях имитировать мозг биологических существ. Проблема в том, что для работы каждого искусственного нейрона необходимо примерно 20 транзисторов, что ведёт к высокому потреблению энергии искусственными мозгами и к серьёзному тепловыделению. Российские учёные придумали, как решить эту проблему.

Источник изображения: Nanomaterials

«Лучшие на сегодня нейроморфные системы имитируют сети, состоящие примерно из одного миллиона нейронов и четверти миллиарда синапсов. Однако самые амбициозные биологические проекты ставят цели достичь 10 миллиардов нейронов и 100 триллионов синапсов. Стремление к такой высокой сложности требует решений на основе новых физических принципов передачи и обработки сигналов. Мы исследовали двух- и трёхпереходные сверхпроводящие квантовые интерферометры с джозефсоновскими контактами на основе золотых нанопроволок», — рассказал директор Центра перспективных методов мезофизики и нанотехнологий МФТИ Василий Столяров.

Учёные из МФТИ и МГУ им. М. В. Ломоносова предложили для реализации сверхпроводящих аналогов нейронов решение с использованием нанопроводов из золота. Работа выполнена при поддержке Российского научного фонда, и завершилась она публикацией в журнале Nanomaterials.

Учёные реализовали искусственный нейрон с помощью только двух джозефсоновских контактов. Это на порядок меньше, чем при использовании транзисторов в нейроморфных процессорах. К примеру, нейроморфный процессор Intel Loihi II представляет собой 1 млн искусственных нейронов и при этом содержит 2,3 млрд транзисторов (далеко не все из них идут на имитацию нейронов, но всё же).

Джозефсоновский переход — это контакт двух сверхпроводников через слой диэлектрика. При переключении перехода происходит строго дозированный всплеск напряжения, форма которого близка к форме импульса в нейросети живого мозга. Пара таких переходов и нанопроволока из золота успешно имитируют работу одного нейрона и довольно экономично с точки зрения потребления энергии. Всё что необходимо для достижения нужного эффекта — это охладить массивы до криогенных температур вблизи абсолютного нуля.

На основе подобных нейронов можно будет создавать массивы из нескольких миллиардов искусственных нейронов и удержаться в рамках разумного бюджета потребления. Тем самым искусственный мозг может вырасти в возможностях до мозга медведя (9,5 млрд нейронов) и жирафа (10,75 млрд нейронов), тогда как возможности процессора Intel Loihi II — это мозг насекомых.

Более того, российские учёные разработали вариант искусственных нейронов, имитирующих работу в особых биологических условиях — под воздействием медикаментов или с повреждениями. Это придаст исследованиям новое направление, связанное с изучением деятельности мозга в нестандартных условиях.

Николай Клёнов, доцент МГУ им. М. В. Ломоносова, добавляет: «Предлагаемый нейрон способен имитировать биологическую активность, соответствующую типичной реакции нейрона на обычную внешнюю стимуляцию, а также на допороговое раздражение. Кроме того, он имитирует режим травмы — биофизическую аномалию, вызванную различными нервными заболеваниями и повреждениями нейронов, и взрывной режим».