Теги → нейроморфный
Быстрый переход

Российские учёные предложили новый вариант искусственных нейронов — электронный мозг на них будет на порядки лучше существующих

Современные нейроморфные процессоры, производимые на основе классических КМОП-техпроцессов, сильно ограничены в возможностях имитировать мозг биологических существ. Проблема в том, что для работы каждого искусственного нейрона необходимо примерно 20 транзисторов, что ведёт к высокому потреблению энергии искусственными мозгами и к серьёзному тепловыделению. Российские учёные придумали, как решить эту проблему.

 Источник изображения: Nanomaterials

Источник изображения: Nanomaterials

«Лучшие на сегодня нейроморфные системы имитируют сети, состоящие примерно из одного миллиона нейронов и четверти миллиарда синапсов. Однако самые амбициозные биологические проекты ставят цели достичь 10 миллиардов нейронов и 100 триллионов синапсов. Стремление к такой высокой сложности требует решений на основе новых физических принципов передачи и обработки сигналов. Мы исследовали двух- и трёхпереходные сверхпроводящие квантовые интерферометры с джозефсоновскими контактами на основе золотых нанопроволок», — рассказал директор Центра перспективных методов мезофизики и нанотехнологий МФТИ Василий Столяров.

Учёные из МФТИ и МГУ им. М. В. Ломоносова предложили для реализации сверхпроводящих аналогов нейронов решение с использованием нанопроводов из золота. Работа выполнена при поддержке Российского научного фонда, и завершилась она публикацией в журнале Nanomaterials.

Учёные реализовали искусственный нейрон с помощью только двух джозефсоновских контактов. Это на порядок меньше, чем при использовании транзисторов в нейроморфных процессорах. К примеру, нейроморфный процессор Intel Loihi II представляет собой 1 млн искусственных нейронов и при этом содержит 2,3 млрд транзисторов (далеко не все из них идут на имитацию нейронов, но всё же).

Джозефсоновский переход — это контакт двух сверхпроводников через слой диэлектрика. При переключении перехода происходит строго дозированный всплеск напряжения, форма которого близка к форме импульса в нейросети живого мозга. Пара таких переходов и нанопроволока из золота успешно имитируют работу одного нейрона и довольно экономично с точки зрения потребления энергии. Всё что необходимо для достижения нужного эффекта — это охладить массивы до криогенных температур вблизи абсолютного нуля.

На основе подобных нейронов можно будет создавать массивы из нескольких миллиардов искусственных нейронов и удержаться в рамках разумного бюджета потребления. Тем самым искусственный мозг может вырасти в возможностях до мозга медведя (9,5 млрд нейронов) и жирафа (10,75 млрд нейронов), тогда как возможности процессора Intel Loihi II — это мозг насекомых.

Более того, российские учёные разработали вариант искусственных нейронов, имитирующих работу в особых биологических условиях — под воздействием медикаментов или с повреждениями. Это придаст исследованиям новое направление, связанное с изучением деятельности мозга в нестандартных условиях.

Николай Клёнов, доцент МГУ им. М. В. Ломоносова, добавляет: «Предлагаемый нейрон способен имитировать биологическую активность, соответствующую типичной реакции нейрона на обычную внешнюю стимуляцию, а также на допороговое раздражение. Кроме того, он имитирует режим травмы — биофизическую аномалию, вызванную различными нервными заболеваниями и повреждениями нейронов, и взрывной режим».

Искусственный интеллект заставят заняться рутинными вычислениями: большими данными и статистикой

По мнению группы американских специалистов, имитирующие работу мозга нейроморфные процессоры способны успешно решать задачи из круга, значительно выходящего за привычную для них область искусственного интеллекта. Серия несложных математических экспериментов показала, что нейроморфные процессоры оказываются очень эффективными для обработки больших данных, чем обычно заняты суперкомпьютеры. Это открытие обещает подтолкнуть к новым решениям.

 Нейроморфный процессор Intel Loihi. Источник изображения: Intel

Нейроморфный процессор Intel Loihi. Источник изображения: Intel

Учёные из Национальной лаборатории Сандия с помощью платформы на нейроморфных процессорах Intel Loihi поставили математический эксперимент по моделированию процессов диффузии газа через барьер. Расчёты опирались на хорошо известный в математике метод случайного блуждания. Простейшим примером случайного блуждания может быть броуновское движение частиц. В математике это серия случайных шагов, сделанных по определённому алгоритму. С помощью этого метода, например, можно рассчитать распространение инфекционных заболеваний среди населения или колебание цен акций на бирже.

Традиционно такие расчёты проводят на суперкомпьютерах с использованием графических ускорителей. Нейроморфные процессоры, как выяснилось, могут справиться с решением таких задач быстрее и с меньшими затратами энергии.

Особенность расчетов на нейроморфных процессорах в том, что при использовании метода случайного блуждания отклик системы возникает сразу на всю цепочку шагов как суммарный ответ, а не как цепочка данных в виде пошаговых вычислений в обычных вычислительных системах. Подобным образом срабатывает нейрон в мозге человека. Чтобы возник потенциал действия — электрический нервный импульс — рецепторы нейрона должны захватить критическую массу нейромедиаторов. Отдельные порции нейромедиаторов не дадут «вспышки», важен лишь их конечный объём.

«В принципе, мы показали, что нейроморфное оборудование может дать вычислительные преимущества для многих приложений, а не только для искусственного интеллекта, которому оно явно родственно, — сказал Джеймс Брэдли Эймон (James Bradley Aimone). — Вновь открытые приложения варьируются от радиационного переноса и молекулярного моделирования до вычислительных финансов, биологического моделирования и физики частиц».

Intel представила нейроморфный чип Loihi II — 128 ядер, 1 млн нейронов и техпроцесс Intel 4

Intel представила второе поколение нейроморфных чипов: Loihi II. Идейно и архитектурно новый чип, в целом, повторяет первое поколение, анонсированное четыре года назад, однако имеет целый ряд улучшений технического и программного характера. Но что более интересно, с выходом Loihi II, который всё ещё считается исследовательской разработкой, компания готова сделать первые шаги по ограниченной коммерциализации данного решения.

В рамках нейромофорного подхода исследователи пытаются аппаратно воссоздать с той или иной степени точности механизмы, лежащие в основе мозга, которые на первый взгляд довольно просты: по густо провязанной и меняющейся со временем сети нейронов асинхронно и параллельно распространяются сигналы как ответ на внешние события.

Попытки повторить это в рамках обычного «железа» можно считать достаточно успешными, ведь нейронными сетями сейчас никого не удивишь. Однако такие сети требуют затратного предварительного обучения на заранее размеченных данных, тогда как мозг учится «на лету». А с ростом сложности моделей остро встаёт вопрос энергоэффективности, причём не только обучения, но и исполнения.

«Вершиной эволюции» классических ИИ-ускорителей на сегодняшний день можно считать Cerebras WSE-2: чип размером с кремниевую пластину содержит 850 тыс. ядер и потребляет 15 кВт. Но и этого мало — по словам самих разработчиков, только кластер из таких чипов способен работать с ИИ-моделями, сравнимыми по масштабу с человеческим мозгом. И все эти ограничения призваны устранить именно нейроморфные системы.

Loihi II изготавливается по EUV-техпроцессу Intel 4, который всё ещё находится в стадии разработки. Чип имеет площадь 31 мм2 и содержит 2,3 млрд транзисторов, а площадь одного ядра составляет 0,21 мм2, то есть плотность по сравнению с первым поколением выросла практически вдвое. Чип всё так же содержит 128 нейронных ядер, но число доступных нейронов выросло со 128 тыс. до 1 млн. Объём памяти на ядро слегка уменьшился, с 208 до 192 Кбайт, однако теперь банки памяти можно более гибко распределять между нейронами и синапсами, а компрессия позволяет ещё более эффективно использовать имеющийся объём.

Сами ядра тоже изменились. В первом поколении они были оптимизированы под конкретные импульсные нейронные сети, а теперь для каждого ядра есть собственный программируемый конвейер, а сами модели на уровне чипа задаются микрокодом. Кроме того, для состояния нейрона можно использовать до 4096 байт в зависимости от задач (ранее было только 24 байт). Число синапсов на чип уменьшилось со 128 до 12 млн, но они получили существенный апгрейд — для кодирования сигнала используется INT32-значение, а не бинарное (есть/нет).

Всё вместе это позволяет задействовать обучение (в том числе на лету) с третьим фактором. Тем не менее, набор инструкций нейроморфных ядер остался по-прежнему простым. Он включает базовые арифметические операции, сдвиги, ветвление, работу с памятью/регистрами и импульсами. Сами ядра объединены быстрой mesh-сетью 8×16, а за конфигурацию сети, (де-)кодирование данных и управлением передачей импульсов отвечают ещё шесть выделенных ядер (ранее их было только три) с аппаратным ускорением соответствующих задач.

Суммарный эффект от всех нововведений таков, что Loihi II быстрее Loihi первого поколения примерно на порядок. Более того, он получил улучшенные возможности масштабирования: до 1000 ядер на самом чипе, а также можно сформировать трёхмерную mesh-сеть из чипов благодаря шести выделенным I/O-контроллерам на каждом из них и вчетверо более быстрым линиям. А для связи с внешним миром теперь доступны стандартные интерфейсы SPI/AER, GPIO и 1/2.5/10GbE.

Первым устройством на базе Loihi II стала одночиповая карта Oheo Gulch, предназначенная для разработки и отладки ПО. Она пока что доступна только избранным партнёрам Intel в облаке Neuromorphic Research Cloud. Следующим устройством станет компактная (4” × 4”) плата Kapoho Point, которая несёт на борту уже восемь чипов Loihi II и предоставляет Ethernet и GPIO, а также различные интерфейсы для сенсоров и актуаторов. Платы можно будет напрямую объединять между собой для простого наращивания вычислительной мощности. В дальнейшем возможна интеграция чипов в гибридные SoC для различных задач, а также появление решений для ЦОД.

В целом, области применения и задачи новинок совпадают с теми, что сейчас обслуживают «классические» нейронные сети (с поправкой на энергоэффективность). Однако одного «железа» для распространения мало, поэтому Intel подготовила универсальный open source фреймворк LAVA, который позволит унифицировать разработку и подготовку моделей для практических любых аппаратных решений (не только нейроморфных) с учётом специфики конкретных архитектур.

MIT и Ericsson объединились, чтобы передать управление сетями 6G в руки ИИ и нейроморфных процессоров

Мобильные сети 5G вызвали прилив опасений у определённой части населения. И если большинству аргументация паникёров кажется абсурдной, то с сетями 6G всё будет намного сложнее. По мнению MIT и Ericsson, сети 6G должны управляться искусственным интеллектом, строиться на нейроморфных процессорах — быть похожими по архитектуре на мозг человека, а также брать питание из воздуха — из радиоизлучения.

 Источник изображения: MIT

Источник изображения: MIT

В рамках сотрудничества между Массачусетским технологическим институтом и компанией Ericsson, направленного на разработку технологий 6G, будут изучены новые материалы для компьютерных чипов, имитирующих структуру человеческого мозга, а также способы сделать некоторые электронные системы по-настоящему автономными, устранив необходимость в зарядке. Новое соглашение включает совместную работу над несколькими проектами, в которых учёные MIT выступят специалистами по материалам, процессорным архитектурам и ИИ, а специалисты Ericsson окажут экспертную поддержку и предоставят знания по сетевым технологиям.

В Ericsson считают, что сложность и комплексность сетей 6G обеспечат максимально быструю связь и малые задержки только тогда, когда управлять всей программно-аппаратной инфраструктурой связи будет своя собственная когнитивная сеть. Сеть должна будет оценивать потоки и направления данных и оперативно их перераспределять, расставляя приоритеты по своему разумению.

Важно, что современные процессорные архитектуры и техпроцессы изготовления чипов компания Ericsson считает непригодными для создания аппаратной основы для когнитивных сетей. Умная сеть должна функционировать подобно работе мозга — на памяти, которая одновременно является вычислительным элементом внутри процессора. Это давно муссируемая идея вычислений в памяти, для чего предложен целый ряд элементов от мифического мемристора до вполне оформленной памяти MRAM, ReRAM или PRAM. В MIT рассчитывают создать подобные нейроморфные архитектуры и процессоры для запуска когнитивных сетей по управлению инфраструктурой 6G.

Одним из наиболее необычных направлений в разработке электроники следующего поколения станет «литионика» (Lithionics). Это новый термин, только что предложенный материаловедами MIT. Учёные уверены, что чудесные свойства лития годятся не только для производства литиевых аккумуляторов, но также полезны для выпуска чипов. В частности, оксиды лития могут стать основой будущих нейроморфных процессоров для искусственного интеллекта. Вместе с инженерами Ericsson учёные MIT будут исследовать и эту возможность.

Наконец, MIT и Ericsson планируют создать для работы в сетях 6G полностью автономные IoT-платформы, не требующие периодического заряда и обслуживания. Такие платформы будут получать питание из радиочастотного излучения диапазона связи или широкополосного вещания, например, телевидения.

Если для разработчиков всё сложится хорошо, лет через пять мы увидим необычную для сегодняшнего дня новость: «Ваш сотовый оператор передал управление сетью 6G нейроморфному литиевому процессору с питанием из воздуха».

Учёные нашли материал для создания искусственного мозга

Учёные нашли возможность создать искусственный синапс для решения задач подобно мыслительному процессу человека. Сегодня для этого предлагается множество вариантов и один из самых перспективных видится в сегнетоэлектриках. На таких материалах уже лет 20 выпускается память FeRAM, а новое исследование показывает, как сделать элементы памяти атомарной толщины и приблизиться к нейроморфным вычислениям в объёме процессора.

 Источник изображения: Stanford University

Источник изображения: Stanford University

В серийно выпускаемой памяти FeRAM переключающий элемент обычно выполнен из пьезокерамики, а именно цирконат-титаната свинца (PZT). Свойства материала сохранять поляризацию даже после снятия внешнего управляющего сигнала — электромагнитного поля — придаёт памяти FeRAM её важнейшее свойство энергонезависимости. Она сохраняет данные даже при отключённом питании. Для имитации работы мозга — это крайне важно. Но в нынешнем виде ячейка FeRAM слишком крупная и «мозг» с её использованием будет очень и очень большой.

Для изготовления искусственных синапсов удобны тонкоплёночные структуры толщиной в несколько атомов — это даст малые размеры, высокую плотность и низкое энергопотребление. Выяснилось, что довольно перспективным сегнетоэлектрическим материалом для тонкоплёночных искусственных синапсов является оксид гафния (HfO2). Этот материал прекрасно осаждается из газовой среды с использованием современных методов создания тонкоплёночных структур с высокой точностью и под надёжным контролем. Температуры процессов создания плёнок совместимы с техпроцессами КМОП (CMOS) и не сожгут элементы чипа в процессе изготовления микросхем.

 Схематическое изображение синапса человека (слева) и ячейки сегнетоэлектрической памяти (справа). Источник изображения: ACS Appl. Electron. Mater. 2020, 2, 12, 4023–4033

Схематическое изображение синапса человека (слева) и ячейки сегнетоэлектрической памяти (справа). Источник изображения: ACS Appl. Electron. Mater. 2020, 2, 12, 4023–4033

Определённая проблема была в том, что сегнетоэлектрические свойства HfO2 относительно нестабильны, но добавка в к нему циркония (Zr) решила эту проблему. Тем самым соединение оксид гафния-циркония (HZO) оказалось одним из сильных кандидатов для изготовления памяти с использованием сегнетоэлектриков и обещает революцию в области вычислений памяти.

Нейроморфные процессоры Intel оказались сообразительнее, чем обычные графические и центральные процессоры

Intel два года выстраивает сообщество Intel Neuromorphic Research Community (INRC), которое изучает сферу применения нейроморфных процессоров компании. Сегодня впервые за всё время исследований компания с цифрами в руках доказывает превосходство нейроморфных процессоров в области машинного обучения над графическими и центральными процессорами. Системы на NPU Intel Loihi учатся быстрее и эффективнее, что открывает перед ними массу перспектив.

В настоящий момент не существует универсальных тестов, которые могли бы помочь объективно сравнить эффективность машинного обучения на классических вычислительных платформах и на нейроморфных платформах. Поэтому пока Intel и партнёры предлагают сравнивать эффективность систем исходя из скорости и эффективности в реальных сценариях обучения той или иной платформы.

Так, компания Accenture обнаружила, что при распознавании голосовых команд чип Intel Loihi делает это с такой же точностью, что и «стандартный GPU», но реагирует на речь на 200 мс быстрее и выполняет распознавание с 1000-кратно более высокой эффективностью. Похожая ситуация с распознаванием жестов. С помощью камеры Intel Loihi выучивает жесты всего за несколько демонстраций, что можно использовать для управления «умным» домом или терминалами в общественных местах.

Исследователи из розничной торговли оценили превосходство Loihi для поиска товаров на основе изображений. Они обнаружили, что нейроморфный процессор Loihi генерирует векторы признаков изображения с более чем трёхкратной энергоэффективностью, чем традиционные центральные и графические процессоры. Ранее в этом году Intel уже показывала способность Loihi искать векторы признаков в базах данных с миллионами изображений в 24 раза быстрее и с 30 раз меньшим энергопотреблением, чем в случае x86-совместимых процессоров.

При решении задач оптимизации и поиска выяснилось, что NPU Loihi может решать задачи более чем в 1000 раз эффективнее и в 100 раз быстрее по сравнению с традиционными процессорами. Это особенно важно для наделения умениями периферийной автоматики. Например, давая возможность дронам принимать сложные навигационные решения в режиме реального времени. При реализации платформы Loihi в масштабах ЦОД эти умения можно применить для оптимизации логистики или, например, для управления движением поездов.

Специалист по робототехнике, компания Rutgers, определила, что её решения на Loihi без потери производительности требуют в 75 раз меньшего энергопотребления, чем реализации на обычных мобильных GPU. В свою очередь, команда исследователей из ETH Zurich выяснила, что задачу слежения за горизонтом платформой дрона процессор Loihi выполняет в 1000 раз лучше с позиций комбинированных показателей эффективности и скорости, чем обычные вычислительные платформы.

Очевидно, это не первые и не последние рапорты о достижениях платформы Intel Loihi. Тем более что компания готовит следующее поколение нейроморфных процессоров уже с учётом полученного опыта. Нейроморфные процессоры обещают умнеть на глазах, а алгоритмы их работы будут всё совершеннее и совершеннее.

Искусственному интеллекту тоже нужен сон

В попытке создать искусственный разум исследователи копируют природу. В основу нейроморфных процессоров и нейронных сетей ложатся искусственные аналоги нейронов и синапсов. Поэтому не стоит удивляться, что нейронным сетям тоже оказался нужен сон. Перенапряжённые длительной вычислительной нагрузкой искусственные нейроны снижали свою эффективность и восстанавливали полную работоспособность только после того, как им давали поспать.

 Иллюстрация New Atlas

Иллюстрация New Atlas

Впрочем, речь идёт об аналоге сна. ИИ не придётся спать часами, чтобы вернуть себе пик вычислительной формы. В процессе машинного обучения нейронной сети в режиме без учителя в Лос-Аламосской национальной лаборатории исследователи заметили снижение эффективности алгоритма. Ради эксперимента решено было «успокоить» нейроны с помощью пропускания шума через сигнальные каналы нейроморфного процессора (в дальнейшем эксперименты обещают провести на нейроморфном процессоре Intel Loihi).

Выяснилось, что лучше всего возбуждённые искусственные нейроны восстанавливаются после пропускания так называемого гауссовского шума. Этот шум сильнее всего напоминает распространение сигналов между нейронами в фазе медленного сна биологического мозга. Без сна, как известно, биологический организм ждёт истощение и смерть. В голове в это время также происходит много чего разного, но далёкого от реальности.

Искусственные нейронные сети оказались в плену тех же проблем, но направление для их решения уже известно. Что дальше? Перерыв ИИ на обед, выходные дни, отпуска и профсоюзы?

В MIT придумали самый лучший в мире мемристор

Исследователи из Массачусетского технологического института создали то, что они назвали «мозг на кристалле». На кусочке кремния размерами меньше конфетти поместились десятки тысяч искусственных синапсов мозга ― мемристоров. «Мозг на кристалле» запомнил и многократно воспроизвёл монохромное изображения щита Капитана Америка. То ли ещё будет!

 «Мозг на кристалле» MIT (десятки тысяч искусственных синапсов на 1-мм куске кремения)

«Мозг на кристалле» MIT (десятки тысяч искусственных синапсов на 1-мм куске кремния)

Но прежде немного истории. Широко о мемристоре заговорили в 2010 году, когда компания HP заявила о возможности выпускать массивы памяти на мемристорах промышленным способом. Ранее мемристор считался гипотетически возможным четвёртым электротехническим элементом в дополнение к конденсатору, резистору и катушке индуктивности.

Фактически мемристор ― это резистор с электронным образом управляемым и даже обратимым сопротивлением. Ещё проще ― это резистивная память. В каком-то смысле память 3D XPoint компании Intel ― это тоже мемристор. Это мы к тому, что мемристор не является чем-то исключительным. Обычно это два электрода, один из которых зачастую состоит из серебра, между которыми заключён слой аморфного кремния. При подаче напряжения на электроды между ними устанавливается проводящий ток канал (происходит насыщение ионами). Снятие напряжения не снижает насыщенность канала ионами, что ведёт к эффекту памяти. И таких состояний может быть множество, а не два, как 0 или 1 в случае обычных транзисторов.

В MIT заявили, что существующие модели мемристоров недостаточно эффективны для работы с малыми напряжениями (токами). Это означает, что есть проблемы с масштабированием технологии. Между тем, мемристор удобно использовать в качестве искусственного синапса. Он может передавать данные от одного искусственного нейрона к другому и запоминает не только сам факт передачи данных (служит памятью в двоичной системе), но также передаёт широкий диапазон значений сигнала, для чего в классической схемотехнике потребовалось бы несколько транзисторов.

Исследователи из MIT подобрали альтернативу популярному среди разработчиков мемристоров серебру. Вместо чистого серебра предложено использовать сплав меди и серебра. Медь легко «цепляется» к кремниевой подложке и даёт возможность улавливать даже слабейший поток ионов серебра от одного электрода ячейки мемристора к другому. Проведенные опыты с массивом из десятков тысяч искусственных синапсов на кусочке кремния со сторонами 1 мм показали, что мемристоры запоминают и могут многократно и с большей чёткостью воспроизводить изображения, которые на них записываются. Это открывает путь к карманной электронике с зачатками интеллекта, напоминающего человеческий.

Intel научила нейроморфный процессор Loihi различать запахи

Совместная публикация в журнале Nature Machine Intelligence исследователей из Intel Labs и Корнелльского университета рассказала об эффективности нейроморфных процессоров компании для имитации работы обонятельной нервной системы человека. Нейроморфные процессоры Intel Loihi научились быстро распознавать запахи опасных веществ в воздухе даже в условиях сильных помех.

Нейроморфные процессоры Loihi компания Intel представила в 2017 году. В прошлом году Intel начала распространять систему Pohoiki Beach с 64 процессорами на борту. Одиночный чип Loihi содержит кремниевые аналоги синапсов и нейронов и может быть запрограммирован одновременно как на обучение, так и на принятие решений.

В совместном исследовании специалисты Intel и Корнелльского университета показали, что обученный Loihi с высокой точностью и с первой попытки распознаёт в воздухе запахи 10 опасных веществ. Точность распознавания оказалась намного выше, чем в случае конкурирующих методов машинного обучения и с намного меньшим числом обучающих выборок на класс. Для достижения такой же точности конкурирующим платформам и моделям понадобилось бы в 3000 раз больше обучающих выборок на класс.

Для распознавания запахов опасных химических веществ, включая ацетон, аммиак и метан, в процессор подавались данные с 72 химических датчиков. Датчики располагались в аэродинамической трубе, в которую запускались опасные вещества. «Мозг» Loihi смог с первого раза определить, образцы каких веществ запускались в трубу.

Вклад в исследование учёных из Корнелльского университета состоял в том, что они, как биологи, которые изучают воздействие запахов (молекул веществ) на обонятельные рецепторы и передачу электрических импульсов в мозг, помогли разработать машинные алгоритмы определения запахов. Специалисты Intel воплотили алгоритм в машинный код, понятный нейроморфному процессору Loihi.

 Инженер Набиль Имам из Intel показывает плату с процессорами Loihi

Инженер Набиль Имам из Intel показывает плату с процессорами Loihi

Распознающие запахи системы, уверены в Intel, помогут в развитии робототехники, когда роботы смогут сами сортировать продукты, ориентируясь на запах, подтолкнут развитие систем слежения за состоянием окружающей среды, приведут к усилению безопасности труда на производстве и в целом дадут толчок к развитию когнитивных способностей кремниевых процессоров.

В «нейроморфное» сообщество Intel вошли корпорации Accenture, Airbus, GE и Hitachi

Весной 2018 года Intel объявила об организации сообщества Intel Neuromorphic Research Community вокруг нейроморфных вычислений на базе фирменных платформ компании: процессоров Loihi, плат Nahuku с процессорами, а также готовых к эксплуатации USB-версий Kapoho Bay и 64-процессорных систем Pohoiki Beach. До лета этого года нейроморфные платформы Intel в основном были доступны через облачные сервисы компании. Поставки первых отдельных решений начались в июле, а к концу текущего года компания обещала начать поставки полочных систем и стоек Pohoiki Springs с 768 процессорами Loihi.

До сегодняшнего дня в сообщество Intel Neuromorphic Research Community (INRC) входили мало кому известные стартапы, небольшие компании и исследовательские учреждения по всему миру. Теперь Intel с гордостью заявляет, что в INRC впервые вошли компании из списка Fortune Global 500 крупнейших в мире корпораций. Созданием решений и инструментов с использованием нейроморфных платформ станут заниматься компании Accenture, Airbus, GE и Hitachi.

Нейроморфные вычисления обещают решить задачи, которые слабо подходят для решения с использованием традиционных технологий глубокого машинного обучения. Нейроморфная технология подражает адаптивному поведению естественных нейронных связей. Тем самым данные хранятся там же, где обрабатываются ― в кремниевом подобии сплетений искусственных нейронов и синапсов, что существенно повышает энергоэффективность таких расчётов. Нейроморфные вычисления могут стать основной ИИ, робототехники и даже интерфейса мозг-компьютер.

У каждой из четырёх корпораций, которая вошла в сообщество INRC, свои далеко идущие цели. Каждая из них внесёт свой вклад в развитие нейроморфных вычислений. Компания Accenture специализируется на консультациях для создания конкурентного преимущества клиентов в бизнесе. По её мнению, нейроморфные вычисления помогут обнаружить новые пути для роста компаний в самом широком спектре деятельности.

 Платформа Pohoiki Beach (Intel)

Платформа Pohoiki Beach (Intel)

Компания Airbus известна своей позицией лидера в аэрокосмической отрасли. Но помощь от нейроморфных платформ она ждёт в смежной области: в сфере цифровой безопасности. Для Airbus представляется важным создать эффективные и малопотребляющие решения для постоянного мониторинга вредоносного вторжения в системы. Компания ожидает, что добавление возможностей обучения и масштабирования в режиме реального времени Loihi позволит как быстрее, так и точнее обнаруживать вредоносные программы, что является критической по времени проблемой.

Компания GE будет искать в нейроморфных платформах Intel средство для оптимизации производственных процессов. Нейроморфные платформы могут преобразить пограничные вычисления, что выльется в появление самообучающихся производственных линий. Также на пограничные вычисления с использованием нейроморфных процессоров рассчитывает компания Hitachi. Но у японцев несколько иная цель ― это оптимизация структур, обрабатывающих Большие Данные. Это вещи с подключением к Интернету, датчики, эксплуатация масштабных систем, умной городской инфраструктуры и «решение проблем» с социумом.

 Плата Intel Nahuku с процессорами Loihi (Intel)

Плата Intel Nahuku с процессорами Loihi (Intel)

Как считают аналитики, если все или основные технические проблемы с нейроморфными платформами будут решены в ближайшие несколько лет, рынок нейроморфных вычислений может вырасти с $69 млн в 2024 году до $5 млрд в 2029 году и $21,3 млрд в 2034 году. Немного подробнее о процессорах Intel Loihi и решениях на нём можно прочесть в архиве наших новостей за 16 июля этого года.

НТЦ «Модуль» поставил технополису «Эра» первый российский ускоритель нейросетей

Научно-технический центр «Модуль» со ссылкой на репортаж РИА Новости сообщил, что первый российский ускоритель нейросетей компании поставлен в технополис «Эра». Источник не уточнил, какая именно продукция будет изучаться в научных ротах. НТЦ «Модуль» выпускает целый спектр SoC на ядрах ARM, но с матричным ускорителем NeuroMatrix (NMC4) собственной разработки.

Посетивший на прошлой неделе выставку технополиса Минобороны РФ «Эра» в Анапе вице-премьер Юрий Борисов после беседы с представителем НТЦ «Модуль» распорядился, чтобы в научные роты было поставлено ещё «20–50 таких штук». Для построения платформ с искусственным интеллектом нейронные процессоры в десятки раз быстрее процессоров в обычных компьютерах. На основе решений можно создавать производительные нейронные сети, например, для быстрого определения целей для поражения после анализа данных с беспилотников.

Свежая разработка НТЦ «Модуль» SoC NM6408 была показана в феврале этого года на индийской выставке Aero India 2019. Помимо ядер ARM решение содержит векторный нейроморфный блок с 16 ядрами NeuroMatrix (NMC4). Производительность чипа в режиме с двойной точностью достигает 128 гигафлопс. В научные роты, по косвенным данным, может поставляться SoC 1879ВМ8Я также с 16 ядрами NeuroMatrix и 4 ядрами ARM Cortex-A5 (в виде четырёх кластеров). Подробнее об этом 28-нм решении можно узнать здесь. Производительность чипа в режиме с двойной точностью также достигает 128 гигафлопс при потреблении до 12 Вт.

Учёные создали первый рабочий процессор с программируемыми мемристорами

На прошлой неделе в сетевом издании Nature группа учёных из Университета Мичигана опубликовала статью, в которой рассказывается о практическом применении первого процессора с массивом программируемых мемристоров.

 Участок кремниевой подложки с 17 мемристорами

Участок кремниевой подложки с 17 мемристорами

Напомним, об открытии мемристора первой сообщила компания HP, что произошло в 2008 году. Это так называемый четвёртый базовый электротехнический элемент в дополнение к хорошо известным резисторам, конденсаторам и катушкам индуктивности. Мемристор представляет собой управляемое электронным образом сопротивление с запоминанием состояния, которое не требует поддержки питанием. Это — аналоговый элемент, который может служить как ячейкой энергонезависимой памяти, так и вентилем (транзистором). Сама HP не смогла наладить производство массивов памяти на мемристорах. Но это не важно, поскольку мемристор ― это резистивная память (RRAM или ReRAM), которую не разрабатывает только ленивый.

 Диаграмма строения процессора с массивом мемристоров

Диаграмма строения процессора с массивом мемристоров

Поскольку мемристор позволяет одновременно хранить данные в ячейке и выполнять над ними манипуляции, он может стать аналогом цифровых синапсов, а массив мемристоров способен работать подобно головному мозгу без ресурсоёмкой пересылки данных из памяти в процессор и обратно. Данную схему в предельно упрощённом виде воспроизвели учёные из Университета Мичигана. Массив из 5800 мемристоров встроили в процессор на архитектуре OpenRISC, связав схемы каналами передачи данных, включая ЦАП и АЦП (не забываем, что данные в ячейках мемристора — аналоговые с массой промежуточных значений между 0 и 1).

Предложенное решение способно параллельно обрабатывать большие массивы данных с использованием меньшего объёма аппаратных ресурсов. Это экономит время и деньги (читай ― потребление электроэнергии). В перспективе подобные платформы с десятками и сотнями тысяч ячеек из мемристоров на борту смогут в сотни раз превзойти по производительности CPU и GPU общего назначения.

 Процессор с массивом мемристоров

Процессор с массивом мемристоров

В проведённых экспериментах учёные смогли научить процессор с мемристорами сходу со стопроцентной точностью распознавать замысловатые буквы греческого алфавита, распознавать изображения с искажениями и с точностью до 94,6 % различать злокачественные или доброкачественные раковые образования. В каждом случае набор данных или векторные представления результатов загружались в массив мемристоров, а дальше сравнение новых входящих данных шло с высочайшей скоростью, что сулит, например, перенос нейроморфных вычислений (машинного обучения) из облаков в мобильные платформы.

Intel начала распространять 64-процессорную нейроморфную систему Pohoiki Beach

Мы уже знакомили вас с планами компании Intel по развитию экосистемы нейроморфных процессоров под именем «Loihi». Одиночный чип Loihi содержит кремниевые аналоги синапсов и нейронов ― базовых элементов головного мозга. В каждую 14-нм микросхему Loihi входят по 128 000 нейронов и синапсов. Для имитации объёма мозга таракана, например, необходимо 8 таких процессоров или около 1 млн нейронов. Но проблема не в объёме ― никто не мешает Intel, и она это со временем сделает ― набить серверную стойку полками с платами на базе Loihi. Главная проблема заключается в создании программного обеспечения, которое могло бы работать на подобных платформах в любом масштабе.

 Плата Intel Nahuku с процессорами Loihi (Intel)

Плата Intel Nahuku с процессорами Loihi (Intel)

Весной прошлого года Intel организовала научное сообщество Intel Neuromorphic Research Community (INRC), число участников которого сейчас разрослось до 60 коллективов. Одновременно компания начала распространять платы с процессорами Loihi для изучения архитектуры этих нейроморфных процессоров научными и исследовательскими учреждениями. Следует добавить, что проект Loihi частично выполняется в рамках программы DARPA по возрождению электронной промышленности в США. Новейшая система Pohoiki Beach на базе Loihi как раз была на днях представлена во время очередной конференции разработчиков, спонсируемых DARPA.

Система Pohoiki Beach содержит до 64 нейроморфных процессоров Intel Loihi и «умная», как 8 тараканов, что подразумевает объём кремниевого «мозга» ёмкостью 8 млн нейронов. В основе Pohoiki Beach лежит набор плат Intel Nahuku, каждая из которых управляется ПЛИС Arria 10 и содержит от 8 до 32 чипов Loihi. В компании не детализируют конфигурацию Pohoiki Beach, заявляя о системе как о первой 64-процессорной нейроморфной платформе. Пойти по пути медленного масштабирования нейроморфных систем, как мы отметили выше, Intel заставило отставание программного обеспечения от легко масштабируемого «железа».

 Платформа Pohoiki Beach (Intel)

Платформа Pohoiki Beach (Intel)

До конца года компания обещает начать выпуск стоек под кодовым именем Pohoiki Springs. Каждая полка стойки будет содержать 768 чипов Loihi, что в сумме даст около 100 млн нейронов на полку. Три таких полки и получится кремниевый «мозг», равный объёму нейронов мозга живого осьминога. Новая платформа и разработанное программное обеспечение обещают в 1000 раз ускорить специализированные расчёты с увеличением энергоэффективности до 10 000 раз. Данные в таких системах не нужно гонять из периферийной памяти в процессор и обратно. Все расчёты проводятся в памяти и там же остаются. Как в голове у обычного человека.

Intel Labs вознесёт нейроморфные процессоры до небес: ищите Loihi в облаках

Как нам известно — а кто не помнит, может заглянуть в наш архив за прошлый год — в сентябре 2017 года компания Intel приступила к производству опытных 14-нм нейроморфных процессоров Loihi (есть такой подводный вулкан в 30 км от острова Гавайи). Нейроморфный процессор вообще и конкретная архитектура в частности — это один из способов перерасти традиционные фон-неймановские архитектуры и научить электронику думать как человек или, вернее, в каком-то условном приближении как человек. То есть попытаться создать имитацию мыслительного процесса в головном мозге в виде взаимодействующих через синапсы нейронов.

 Блок-схема процессора Intel Loihi

Блок-схема процессора Intel Loihi

Естественно, кремниевые синапсы и нейроны тоже представляют собой лишь примерную модель этих органических структур. При этом важно отметить, что «кремниевых» синапсов (сетевых соединений) у подобных процессоров не просто мало, а катастрофически мало. Для имитации головного мозга в первом приближении количество связей в нейронных сетях необходимо увеличить хотя бы на один–два порядка, что трудно сделать в современных реалиях полупроводникового производства.

Тем не менее, с начала 2018 года Intel Labs начала рассылать научным партнёрам, учебным учреждениям и заинтересованным компаниям тестовые платы с процессорами Loihi. Сначала это были решения с четырьмя Loihi на борту и внешним управлением, которые годились для обучения самостоятельным действиям роботизированных манипуляторов или для других целей с возможностью научить автоматику правильно распознавать данные с датчиков и соответственно реагировать манипуляторами или каким-либо иным способом.

 Nahuku: от 8 до 32 чипов Intel Loihi

Nahuku: от 8 до 32 чипов Intel Loihi

Со второго квартала Intel Labs начала распространять платы с Loihi от 8 до 32 штук с управлением с помощью матриц ПЛИС Arria 10. Это уже посерьёзней. Подобные тестовые платформы могут служить для конфигурации и отладки сложных моделей поведения на нейросетях с 32 тысячами нейронов и 4 млн синапсов.

 Kapoho Bay с 1 или 2 чипами Intel Loihi и USB-интерфейсом

Kapoho Bay с 1 или 2 чипами Intel Loihi и USB-интерфейсом

В третьем квартале компания подготовила компактное решение с одним или двумя Loihi с подключением к USB. Подобные «заглушки» Intel Labs предлагает для университетов и других учебных учреждений. Наконец, в декабре через облачные услуги планируется обеспечить доступ к стоечным версиям тестовой платформы на процессорах Loihi с 768 нейроморфными процессорами на полку (комплект из 24 плат с 32 процессорами в одном корпусе). Эта платформа даст доступ у кремниевому «мозгу» со 100 млн нейронов (как у 100 тараканов или одна треть от мозга осьминога).

Но пока нет смысла говорить о том, что может этот «мозг». Перед разработчиками стоит задача посложней — создать программные инструменты и алгоритмы для воспроизводства целостной «мыслительной» платформы с возможностью масштабирования.

CES 2018: Intel продвинулась в квантовых и нейроморфных вычислениях

На проходящей в Лас-Вегасе выставке CES 2018 корпорация Intel объявила о важных достижениях в области квантовых и нейроморфных вычислений. Последние представляют собой перспективный тип компьютерной логики и могут принципиально улучшить возможности искусственного интеллекта, а, следовательно, и оказать огромное влияние на многие научные, исследовательские и индустриальные области.

Квантовые вычисления смогут быстро решать специфические задачи, для которых современным суперкомпьютерам требуются месяцы или годы, вроде создания лекарств, финансового моделирования и климатических прогнозов.

Во время основного доклада исполнительный директор Intel Брайан Кржанич (Brian Krzanich) сообщил о выпуске сверхпроводящего квантового чипа под кодовым именем «Tangle Lake», обладающего 49 кубитами, а также пообещал внедрение нейроморфных вычислений, имитирующих работу мозга и способных эффективно обрабатывать структурированные и неструктурированные данные, объём которых экспоненциально растёт. Название процессора происходит от группы озёр в Аляске и указывает на экстремально низкие температуры и переплетение, что необходимо для функционирования квантовых битов.

Старший вице-президент Майк Мейберри (Mike Mayberry) сообщил, что пройдёт ещё 5–7 лет, пока индустрия научится решать технические проблемы и окажется способной создавать чипы с миллионом или больше кубитов для достижения коммерческого успеха технологии. Tangle Lake является важным шагом на этом пути, позволяя исследователям оценивать и улучшать техники коррекции ошибок и моделировать вычислительные задачи.

Продолжая инвестиции в сверхпроводящие кубиты, Intel в стремлении нарастить количество взаимодействующих кубитов ведёт параллельную разработку другого типа — спиновых кубитов (spin qubits) в кремнии. Последние способны иметь принципиальное преимущество будучи гораздо меньше сверхпроводящих кубитов.

Спиновые кубиты схожи с одноэлектронным транзистором, который в свою очередь имеет много общего с традиционными транзисторами, и потенциально могут производиться на близких к современным техпроцессах. Intel уже разработала принципы применения технологии производства 300-мм кремниевых пластин для спиновых кубитов.

Вторым достижением стал созданный Intel Labs полностью функциональный опытный чип «Loihi» в рамках новой парадигмы нейроморфных вычислений, имитирующей базовые операции мозга. Технология Loihi объединяет обучение и логический вывод в одном чипе и обещает экспоненциальный рост производительности и энергоэффективности для искусственного интеллекта.

Как объясняет Intel, нейроморфные процессоры могут быть задействованы в задачах обработки и анализа данных настоящего постоянно изменяющегося окружения. В качестве примера названы камеры наблюдения и городская инфраструктура, приспособленные для информационной поддержки автономных транспортных средств в реальном времени. В первом полугодии Intel планирует передать образцы чипов Loihi в ведущие университеты и исследовательские институты, применив их к более сложным проблемам и наборам данных.

window-new
Soft
Hard
Тренды 🔥
Softline представила Clouder, оркестратор для мультиоблачной инфраструктуры 5 мин.
Приложение TikTok научилось генерировать картинки по текстовому описанию 17 мин.
Разработчик игрового движка Unity не откажется от сделки с ironSource — предложение AppLovin на $17 млрд отклонено 25 мин.
Создатели God of War Ragnarok напомнили о событиях прошлой части в анимированной книге мифов 58 мин.
«Лаборатория Касперского» изучила вовлечённость российских детей в мир соцсетей и гаджетов 2 ч.
Сооснователь «Лаборатории Касперского» Алексей Де-Мондерик покинул компанию и продал свою долю за $50 млн 2 ч.
Еженедельный чарт Steam: Marvel’s Spider-Man борется с Cult of the Lamb, а Cyberpunk 2077 вернулась в десятку 2 ч.
«Лаборатория Касперского»: в России наблюдается всплеск мошеннических рассылок с электронной почты добросовестных компаний 4 ч.
Apple потребовала от Rutube скрыть контент российских госСМИ из приложения для iOS за пределами РФ 4 ч.
Видео: исследование окружения и сражения с монстрами на новых геймплейных кадрах перезапуска Alone in the Dark 6 ч.