Теги → нейроморфный
Быстрый переход

Искусственному интеллекту тоже нужен сон

В попытке создать искусственный разум исследователи копируют природу. В основу нейроморфных процессоров и нейронных сетей ложатся искусственные аналоги нейронов и синапсов. Поэтому не стоит удивляться, что нейронным сетям тоже оказался нужен сон. Перенапряжённые длительной вычислительной нагрузкой искусственные нейроны снижали свою эффективность и восстанавливали полную работоспособность только после того, как им давали поспать.

Иллюстрация New Atlas

Иллюстрация New Atlas

Впрочем, речь идёт об аналоге сна. ИИ не придётся спать часами, чтобы вернуть себе пик вычислительной формы. В процессе машинного обучения нейронной сети в режиме без учителя в Лос-Аламосской национальной лаборатории исследователи заметили снижение эффективности алгоритма. Ради эксперимента решено было «успокоить» нейроны с помощью пропускания шума через сигнальные каналы нейроморфного процессора (в дальнейшем эксперименты обещают провести на нейроморфном процессоре Intel Loihi).

Выяснилось, что лучше всего возбуждённые искусственные нейроны восстанавливаются после пропускания так называемого гауссовского шума. Этот шум сильнее всего напоминает распространение сигналов между нейронами в фазе медленного сна биологического мозга. Без сна, как известно, биологический организм ждёт истощение и смерть. В голове в это время также происходит много чего разного, но далёкого от реальности.

Искусственные нейронные сети оказались в плену тех же проблем, но направление для их решения уже известно. Что дальше? Перерыв ИИ на обед, выходные дни, отпуска и профсоюзы?

В MIT придумали самый лучший в мире мемристор

Исследователи из Массачусетского технологического института создали то, что они назвали «мозг на кристалле». На кусочке кремния размерами меньше конфетти поместились десятки тысяч искусственных синапсов мозга ― мемристоров. «Мозг на кристалле» запомнил и многократно воспроизвёл монохромное изображения щита Капитана Америка. То ли ещё будет!

«Мозг на кристалле» MIT (десятки тысяч искусственных синапсов на 1-мм куске кремения)

«Мозг на кристалле» MIT (десятки тысяч искусственных синапсов на 1-мм куске кремния)

Но прежде немного истории. Широко о мемристоре заговорили в 2010 году, когда компания HP заявила о возможности выпускать массивы памяти на мемристорах промышленным способом. Ранее мемристор считался гипотетически возможным четвёртым электротехническим элементом в дополнение к конденсатору, резистору и катушке индуктивности.

Фактически мемристор ― это резистор с электронным образом управляемым и даже обратимым сопротивлением. Ещё проще ― это резистивная память. В каком-то смысле память 3D XPoint компании Intel ― это тоже мемристор. Это мы к тому, что мемристор не является чем-то исключительным. Обычно это два электрода, один из которых зачастую состоит из серебра, между которыми заключён слой аморфного кремния. При подаче напряжения на электроды между ними устанавливается проводящий ток канал (происходит насыщение ионами). Снятие напряжения не снижает насыщенность канала ионами, что ведёт к эффекту памяти. И таких состояний может быть множество, а не два, как 0 или 1 в случае обычных транзисторов.

В MIT заявили, что существующие модели мемристоров недостаточно эффективны для работы с малыми напряжениями (токами). Это означает, что есть проблемы с масштабированием технологии. Между тем, мемристор удобно использовать в качестве искусственного синапса. Он может передавать данные от одного искусственного нейрона к другому и запоминает не только сам факт передачи данных (служит памятью в двоичной системе), но также передаёт широкий диапазон значений сигнала, для чего в классической схемотехнике потребовалось бы несколько транзисторов.

Исследователи из MIT подобрали альтернативу популярному среди разработчиков мемристоров серебру. Вместо чистого серебра предложено использовать сплав меди и серебра. Медь легко «цепляется» к кремниевой подложке и даёт возможность улавливать даже слабейший поток ионов серебра от одного электрода ячейки мемристора к другому. Проведенные опыты с массивом из десятков тысяч искусственных синапсов на кусочке кремния со сторонами 1 мм показали, что мемристоры запоминают и могут многократно и с большей чёткостью воспроизводить изображения, которые на них записываются. Это открывает путь к карманной электронике с зачатками интеллекта, напоминающего человеческий.

Intel научила нейроморфный процессор Loihi различать запахи

Совместная публикация в журнале Nature Machine Intelligence исследователей из Intel Labs и Корнелльского университета рассказала об эффективности нейроморфных процессоров компании для имитации работы обонятельной нервной системы человека. Нейроморфные процессоры Intel Loihi научились быстро распознавать запахи опасных веществ в воздухе даже в условиях сильных помех.

Нейроморфные процессоры Loihi компания Intel представила в 2017 году. В прошлом году Intel начала распространять систему Pohoiki Beach с 64 процессорами на борту. Одиночный чип Loihi содержит кремниевые аналоги синапсов и нейронов и может быть запрограммирован одновременно как на обучение, так и на принятие решений.

В совместном исследовании специалисты Intel и Корнелльского университета показали, что обученный Loihi с высокой точностью и с первой попытки распознаёт в воздухе запахи 10 опасных веществ. Точность распознавания оказалась намного выше, чем в случае конкурирующих методов машинного обучения и с намного меньшим числом обучающих выборок на класс. Для достижения такой же точности конкурирующим платформам и моделям понадобилось бы в 3000 раз больше обучающих выборок на класс.

Для распознавания запахов опасных химических веществ, включая ацетон, аммиак и метан, в процессор подавались данные с 72 химических датчиков. Датчики располагались в аэродинамической трубе, в которую запускались опасные вещества. «Мозг» Loihi смог с первого раза определить, образцы каких веществ запускались в трубу.

Вклад в исследование учёных из Корнелльского университета состоял в том, что они, как биологи, которые изучают воздействие запахов (молекул веществ) на обонятельные рецепторы и передачу электрических импульсов в мозг, помогли разработать машинные алгоритмы определения запахов. Специалисты Intel воплотили алгоритм в машинный код, понятный нейроморфному процессору Loihi.

Инженер Набиль Имам из Intel показывает плату с процессорами Loihi

Инженер Набиль Имам из Intel показывает плату с процессорами Loihi

Распознающие запахи системы, уверены в Intel, помогут в развитии робототехники, когда роботы смогут сами сортировать продукты, ориентируясь на запах, подтолкнут развитие систем слежения за состоянием окружающей среды, приведут к усилению безопасности труда на производстве и в целом дадут толчок к развитию когнитивных способностей кремниевых процессоров.

В «нейроморфное» сообщество Intel вошли корпорации Accenture, Airbus, GE и Hitachi

Весной 2018 года Intel объявила об организации сообщества Intel Neuromorphic Research Community вокруг нейроморфных вычислений на базе фирменных платформ компании: процессоров Loihi, плат Nahuku с процессорами, а также готовых к эксплуатации USB-версий Kapoho Bay и 64-процессорных систем Pohoiki Beach. До лета этого года нейроморфные платформы Intel в основном были доступны через облачные сервисы компании. Поставки первых отдельных решений начались в июле, а к концу текущего года компания обещала начать поставки полочных систем и стоек Pohoiki Springs с 768 процессорами Loihi.

До сегодняшнего дня в сообщество Intel Neuromorphic Research Community (INRC) входили мало кому известные стартапы, небольшие компании и исследовательские учреждения по всему миру. Теперь Intel с гордостью заявляет, что в INRC впервые вошли компании из списка Fortune Global 500 крупнейших в мире корпораций. Созданием решений и инструментов с использованием нейроморфных платформ станут заниматься компании Accenture, Airbus, GE и Hitachi.

Нейроморфные вычисления обещают решить задачи, которые слабо подходят для решения с использованием традиционных технологий глубокого машинного обучения. Нейроморфная технология подражает адаптивному поведению естественных нейронных связей. Тем самым данные хранятся там же, где обрабатываются ― в кремниевом подобии сплетений искусственных нейронов и синапсов, что существенно повышает энергоэффективность таких расчётов. Нейроморфные вычисления могут стать основной ИИ, робототехники и даже интерфейса мозг-компьютер.

У каждой из четырёх корпораций, которая вошла в сообщество INRC, свои далеко идущие цели. Каждая из них внесёт свой вклад в развитие нейроморфных вычислений. Компания Accenture специализируется на консультациях для создания конкурентного преимущества клиентов в бизнесе. По её мнению, нейроморфные вычисления помогут обнаружить новые пути для роста компаний в самом широком спектре деятельности.

Платформа Pohoiki Beach (Intel)

Платформа Pohoiki Beach (Intel)

Компания Airbus известна своей позицией лидера в аэрокосмической отрасли. Но помощь от нейроморфных платформ она ждёт в смежной области: в сфере цифровой безопасности. Для Airbus представляется важным создать эффективные и малопотребляющие решения для постоянного мониторинга вредоносного вторжения в системы. Компания ожидает, что добавление возможностей обучения и масштабирования в режиме реального времени Loihi позволит как быстрее, так и точнее обнаруживать вредоносные программы, что является критической по времени проблемой.

Компания GE будет искать в нейроморфных платформах Intel средство для оптимизации производственных процессов. Нейроморфные платформы могут преобразить пограничные вычисления, что выльется в появление самообучающихся производственных линий. Также на пограничные вычисления с использованием нейроморфных процессоров рассчитывает компания Hitachi. Но у японцев несколько иная цель ― это оптимизация структур, обрабатывающих Большие Данные. Это вещи с подключением к Интернету, датчики, эксплуатация масштабных систем, умной городской инфраструктуры и «решение проблем» с социумом.

Плата Intel Nahuku с процессорами Loihi (Intel)

Плата Intel Nahuku с процессорами Loihi (Intel)

Как считают аналитики, если все или основные технические проблемы с нейроморфными платформами будут решены в ближайшие несколько лет, рынок нейроморфных вычислений может вырасти с $69 млн в 2024 году до $5 млрд в 2029 году и $21,3 млрд в 2034 году. Немного подробнее о процессорах Intel Loihi и решениях на нём можно прочесть в архиве наших новостей за 16 июля этого года.

НТЦ «Модуль» поставил технополису «Эра» первый российский ускоритель нейросетей

Научно-технический центр «Модуль» со ссылкой на репортаж РИА Новости сообщил, что первый российский ускоритель нейросетей компании поставлен в технополис «Эра». Источник не уточнил, какая именно продукция будет изучаться в научных ротах. НТЦ «Модуль» выпускает целый спектр SoC на ядрах ARM, но с матричным ускорителем NeuroMatrix (NMC4) собственной разработки.

Посетивший на прошлой неделе выставку технополиса Минобороны РФ «Эра» в Анапе вице-премьер Юрий Борисов после беседы с представителем НТЦ «Модуль» распорядился, чтобы в научные роты было поставлено ещё «20–50 таких штук». Для построения платформ с искусственным интеллектом нейронные процессоры в десятки раз быстрее процессоров в обычных компьютерах. На основе решений можно создавать производительные нейронные сети, например, для быстрого определения целей для поражения после анализа данных с беспилотников.

Свежая разработка НТЦ «Модуль» SoC NM6408 была показана в феврале этого года на индийской выставке Aero India 2019. Помимо ядер ARM решение содержит векторный нейроморфный блок с 16 ядрами NeuroMatrix (NMC4). Производительность чипа в режиме с двойной точностью достигает 128 гигафлопс. В научные роты, по косвенным данным, может поставляться SoC 1879ВМ8Я также с 16 ядрами NeuroMatrix и 4 ядрами ARM Cortex-A5 (в виде четырёх кластеров). Подробнее об этом 28-нм решении можно узнать здесь. Производительность чипа в режиме с двойной точностью также достигает 128 гигафлопс при потреблении до 12 Вт.

Учёные создали первый рабочий процессор с программируемыми мемристорами

На прошлой неделе в сетевом издании Nature группа учёных из Университета Мичигана опубликовала статью, в которой рассказывается о практическом применении первого процессора с массивом программируемых мемристоров.

Участок кремниевой подложки с 17 мемристорами

Участок кремниевой подложки с 17 мемристорами

Напомним, об открытии мемристора первой сообщила компания HP, что произошло в 2008 году. Это так называемый четвёртый базовый электротехнический элемент в дополнение к хорошо известным резисторам, конденсаторам и катушкам индуктивности. Мемристор представляет собой управляемое электронным образом сопротивление с запоминанием состояния, которое не требует поддержки питанием. Это — аналоговый элемент, который может служить как ячейкой энергонезависимой памяти, так и вентилем (транзистором). Сама HP не смогла наладить производство массивов памяти на мемристорах. Но это не важно, поскольку мемристор ― это резистивная память (RRAM или ReRAM), которую не разрабатывает только ленивый.

Диаграмма строения процессора с массивом мемристоров

Диаграмма строения процессора с массивом мемристоров

Поскольку мемристор позволяет одновременно хранить данные в ячейке и выполнять над ними манипуляции, он может стать аналогом цифровых синапсов, а массив мемристоров способен работать подобно головному мозгу без ресурсоёмкой пересылки данных из памяти в процессор и обратно. Данную схему в предельно упрощённом виде воспроизвели учёные из Университета Мичигана. Массив из 5800 мемристоров встроили в процессор на архитектуре OpenRISC, связав схемы каналами передачи данных, включая ЦАП и АЦП (не забываем, что данные в ячейках мемристора — аналоговые с массой промежуточных значений между 0 и 1).

Предложенное решение способно параллельно обрабатывать большие массивы данных с использованием меньшего объёма аппаратных ресурсов. Это экономит время и деньги (читай ― потребление электроэнергии). В перспективе подобные платформы с десятками и сотнями тысяч ячеек из мемристоров на борту смогут в сотни раз превзойти по производительности CPU и GPU общего назначения.

Процессор с массивом мемристоров

Процессор с массивом мемристоров

В проведённых экспериментах учёные смогли научить процессор с мемристорами сходу со стопроцентной точностью распознавать замысловатые буквы греческого алфавита, распознавать изображения с искажениями и с точностью до 94,6 % различать злокачественные или доброкачественные раковые образования. В каждом случае набор данных или векторные представления результатов загружались в массив мемристоров, а дальше сравнение новых входящих данных шло с высочайшей скоростью, что сулит, например, перенос нейроморфных вычислений (машинного обучения) из облаков в мобильные платформы.

Intel начала распространять 64-процессорную нейроморфную систему Pohoiki Beach

Мы уже знакомили вас с планами компании Intel по развитию экосистемы нейроморфных процессоров под именем «Loihi». Одиночный чип Loihi содержит кремниевые аналоги синапсов и нейронов ― базовых элементов головного мозга. В каждую 14-нм микросхему Loihi входят по 128 000 нейронов и синапсов. Для имитации объёма мозга таракана, например, необходимо 8 таких процессоров или около 1 млн нейронов. Но проблема не в объёме ― никто не мешает Intel, и она это со временем сделает ― набить серверную стойку полками с платами на базе Loihi. Главная проблема заключается в создании программного обеспечения, которое могло бы работать на подобных платформах в любом масштабе.

Плата Intel Nahuku с процессорами Loihi (Intel)

Плата Intel Nahuku с процессорами Loihi (Intel)

Весной прошлого года Intel организовала научное сообщество Intel Neuromorphic Research Community (INRC), число участников которого сейчас разрослось до 60 коллективов. Одновременно компания начала распространять платы с процессорами Loihi для изучения архитектуры этих нейроморфных процессоров научными и исследовательскими учреждениями. Следует добавить, что проект Loihi частично выполняется в рамках программы DARPA по возрождению электронной промышленности в США. Новейшая система Pohoiki Beach на базе Loihi как раз была на днях представлена во время очередной конференции разработчиков, спонсируемых DARPA.

Система Pohoiki Beach содержит до 64 нейроморфных процессоров Intel Loihi и «умная», как 8 тараканов, что подразумевает объём кремниевого «мозга» ёмкостью 8 млн нейронов. В основе Pohoiki Beach лежит набор плат Intel Nahuku, каждая из которых управляется ПЛИС Arria 10 и содержит от 8 до 32 чипов Loihi. В компании не детализируют конфигурацию Pohoiki Beach, заявляя о системе как о первой 64-процессорной нейроморфной платформе. Пойти по пути медленного масштабирования нейроморфных систем, как мы отметили выше, Intel заставило отставание программного обеспечения от легко масштабируемого «железа».

Платформа Pohoiki Beach (Intel)

Платформа Pohoiki Beach (Intel)

До конца года компания обещает начать выпуск стоек под кодовым именем Pohoiki Springs. Каждая полка стойки будет содержать 768 чипов Loihi, что в сумме даст около 100 млн нейронов на полку. Три таких полки и получится кремниевый «мозг», равный объёму нейронов мозга живого осьминога. Новая платформа и разработанное программное обеспечение обещают в 1000 раз ускорить специализированные расчёты с увеличением энергоэффективности до 10 000 раз. Данные в таких системах не нужно гонять из периферийной памяти в процессор и обратно. Все расчёты проводятся в памяти и там же остаются. Как в голове у обычного человека.

Intel Labs вознесёт нейроморфные процессоры до небес: ищите Loihi в облаках

Как нам известно — а кто не помнит, может заглянуть в наш архив за прошлый год — в сентябре 2017 года компания Intel приступила к производству опытных 14-нм нейроморфных процессоров Loihi (есть такой подводный вулкан в 30 км от острова Гавайи). Нейроморфный процессор вообще и конкретная архитектура в частности — это один из способов перерасти традиционные фон-неймановские архитектуры и научить электронику думать как человек или, вернее, в каком-то условном приближении как человек. То есть попытаться создать имитацию мыслительного процесса в головном мозге в виде взаимодействующих через синапсы нейронов.

Блок-схема процессора Intel Loihi

Блок-схема процессора Intel Loihi

Естественно, кремниевые синапсы и нейроны тоже представляют собой лишь примерную модель этих органических структур. При этом важно отметить, что «кремниевых» синапсов (сетевых соединений) у подобных процессоров не просто мало, а катастрофически мало. Для имитации головного мозга в первом приближении количество связей в нейронных сетях необходимо увеличить хотя бы на один–два порядка, что трудно сделать в современных реалиях полупроводникового производства.

Тем не менее, с начала 2018 года Intel Labs начала рассылать научным партнёрам, учебным учреждениям и заинтересованным компаниям тестовые платы с процессорами Loihi. Сначала это были решения с четырьмя Loihi на борту и внешним управлением, которые годились для обучения самостоятельным действиям роботизированных манипуляторов или для других целей с возможностью научить автоматику правильно распознавать данные с датчиков и соответственно реагировать манипуляторами или каким-либо иным способом. 

Nahuku: от 8 до 32 чипов Intel Loihi

Nahuku: от 8 до 32 чипов Intel Loihi

Со второго квартала Intel Labs начала распространять платы с Loihi от 8 до 32 штук с управлением с помощью матриц ПЛИС Arria 10. Это уже посерьёзней. Подобные тестовые платформы могут служить для конфигурации и отладки сложных моделей поведения на нейросетях с 32 тысячами нейронов и 4 млн синапсов. 

Kapoho Bay с 1 или 2 чипами Intel Loihi и USB-интерфейсом

Kapoho Bay с 1 или 2 чипами Intel Loihi и USB-интерфейсом

В третьем квартале компания подготовила компактное решение с одним или двумя Loihi с подключением к USB. Подобные «заглушки» Intel Labs предлагает для университетов и других учебных учреждений. Наконец, в декабре через облачные услуги планируется обеспечить доступ к стоечным версиям тестовой платформы на процессорах Loihi с 768 нейроморфными процессорами на полку (комплект из 24 плат с 32 процессорами в одном корпусе). Эта платформа даст доступ у кремниевому «мозгу» со 100 млн нейронов (как у 100 тараканов или одна треть от мозга осьминога).

Но пока нет смысла говорить о том, что может этот «мозг». Перед разработчиками стоит задача посложней — создать программные инструменты и алгоритмы для воспроизводства целостной «мыслительной» платформы с возможностью масштабирования.

CES 2018: Intel продвинулась в квантовых и нейроморфных вычислениях

На проходящей в Лас-Вегасе выставке CES 2018 корпорация Intel объявила о важных достижениях в области квантовых и нейроморфных вычислений. Последние представляют собой перспективный тип компьютерной логики и могут принципиально улучшить возможности искусственного интеллекта, а, следовательно, и оказать огромное влияние на многие научные, исследовательские и индустриальные области.

Квантовые вычисления смогут быстро решать специфические задачи, для которых современным суперкомпьютерам требуются месяцы или годы, вроде создания лекарств, финансового моделирования и климатических прогнозов.

Во время основного доклада исполнительный директор Intel Брайан Кржанич (Brian Krzanich) сообщил о выпуске сверхпроводящего квантового чипа под кодовым именем «Tangle Lake», обладающего 49 кубитами, а также пообещал внедрение нейроморфных вычислений, имитирующих работу мозга и способных эффективно обрабатывать структурированные и неструктурированные данные, объём которых экспоненциально растёт. Название процессора происходит от группы озёр в Аляске и указывает на экстремально низкие температуры и переплетение, что необходимо для функционирования квантовых битов.

Старший вице-президент Майк Мейберри (Mike Mayberry) сообщил, что пройдёт ещё 5–7 лет, пока индустрия научится решать технические проблемы и окажется способной создавать чипы с миллионом или больше кубитов для достижения коммерческого успеха технологии. Tangle Lake является важным шагом на этом пути, позволяя исследователям оценивать и улучшать техники коррекции ошибок и моделировать вычислительные задачи.

Продолжая инвестиции в сверхпроводящие кубиты, Intel в стремлении нарастить количество взаимодействующих кубитов ведёт параллельную разработку другого типа — спиновых кубитов (spin qubits) в кремнии. Последние способны иметь принципиальное преимущество будучи гораздо меньше сверхпроводящих кубитов.

Спиновые кубиты схожи с одноэлектронным транзистором, который в свою очередь имеет много общего с традиционными транзисторами, и потенциально могут производиться на близких к современным техпроцессах. Intel уже разработала принципы применения технологии производства 300-мм кремниевых пластин для спиновых кубитов.

Вторым достижением стал созданный Intel Labs полностью функциональный опытный чип «Loihi» в рамках новой парадигмы нейроморфных вычислений, имитирующей базовые операции мозга. Технология Loihi объединяет обучение и логический вывод в одном чипе и обещает экспоненциальный рост производительности и энергоэффективности для искусственного интеллекта.

Как объясняет Intel, нейроморфные процессоры могут быть задействованы в задачах обработки и анализа данных настоящего постоянно изменяющегося окружения. В качестве примера названы камеры наблюдения и городская инфраструктура, приспособленные для информационной поддержки автономных транспортных средств в реальном времени. В первом полугодии Intel планирует передать образцы чипов Loihi в ведущие университеты и исследовательские институты, применив их к более сложным проблемам и наборам данных.

Intel представила нейроморфный процессор Loihi

Сегодня практическая сторона вопросов, связанных с разработкой искусственного интеллекта, лежит в плоскости реализации глубокого или глубинного обучения (deep learning). На основе подобранных особых образом паттернов происходит обучение системы, которая затем реализует полученные знания на практике: водит машины, распознаёт образы или звуки, делает что-то ещё.

И всё бы хорошо, только для глубокого обучения требуется предварительный массивный обмен информацией с базой данных, что в оперативной обстановке реализовать или очень тяжело, или попросту невозможно. От роботов и ИИ хотелось бы большей сообразительности, чтобы думал как человек, опираясь на ассоциативное мышление. Это желание породило попытки воплотить в кремнии подобие человеческого мозга, где электронные схемы имитировали бы работу нейронов и синапсов.

В современной истории более-менее комплексное воплощение «человеческого мозга» в кремнии создали инженеры компании IBM. В 2011 году компания представила процессор TrueNorth и позже развила архитектуру до 4096-ядерного процессора с одним миллионом цифровых нейронов и 256 млн программируемых цифровых синапсов. Весной прошлого года на базе 16 28-нм процессоров TrueNorth компания поставила первый в индустрии «когнитивный» компьютер Национальной администрации по ядерной безопасности (National Nuclear Security Administration). Что интересно, анонс IBM TrueNorth в 2011 году заставил задуматься о нейроморфных процессорах компанию Intel.

Ведущий разработчик «когнитивного» процессора IBM, Дхармендра Модха (Dharmendra S. Modha)

Ведущий разработчик «когнитивного» процессора IBM, Дхармендра Модха (Dharmendra S. Modha)

Сегодня Intel раскрыла карты. Оказывается, в компании шесть лет назад начали разрабатывать фирменный нейроморфный процессор. Воплощением многолетней разработки стало решение под кодовым именем Loihi (скорее всего речь идёт о крупнейшем подводном вулкане в США — Лоихи). Процессор Loihi будет выпускаться с использованием 14-нм техпроцесса и начнёт поставляться академическим учреждениям в первой половине 2018 года.

По словам Intel, Loihi сочетает процессы обучения, тренировки и принятия решений в одном чипе, позволяя системе быть автономной и «сообразительной» без подключения к облаку (к базе данных). К примеру, Intel заявляет, что при обучении с помощью базы данных MNIST (Mixed National Institute of Standards and Technology) нейроморфный процессор Loihi оказывается в 1 млн раз лучше, чем другие типичные спайковые нейронные сети. При этом, если сравнивать Loihi с обычными свёрточными нейронными сетями, разработка Intel при обучении использует много меньше ресурсов, а это каналы связи, потребление и скорость принятия решений. Также Intel уверяет, что Loihi обучается в 1000 раз эффективнее, чем обычные компьютерные системы общего назначения.

Нейроморфный процессор Intel Loihi (Intel)

Нейроморфный процессор Intel Loihi (Intel)

К сожалению, компания не уделила достаточно внимания описанию технических спецификаций Loihi. Вкратце сообщается, что Loihi — это многоядерное решение с внутренней ячеистой сетью. Ядра Loihi — нейроморфные асинхронные (каждое из них может работать независимо от других). Ячеистая сеть имеет несколько степеней разрежённости, она иерархическая и поддерживает рекуррентную топологию нейронной сети, где каждый нейрон может взаимодействовать с тысячами других нейронов.

Также каждое нейроморфное ядро включает механизм (движок) обучения, который может быть запрограммирован для адаптации сети в процессе работы. Если транслировать состав процессора Intel Loihi на возможности мозга человека, то решение включает 130 000 нейронов и 130 млн синапсов. Процессор Intel Loihi не такой умный, как процессор IBM TrueNorth, но определённо эффективнее с позиции производства с технологическими нормами 14 нм.

Toshiba создала самый энергоэффективный нейроморфный процессор

Компания Toshiba Corporation работает над созданием так называемой нейронной сети во временной области (Time Domain Neural Network, TDNN) для Интернета вещей и отрасли Big Data. Особенностью TDNN является использование нового нейроморфного процессора, который отличается сверхнизкой потребляемой мощностью и при этом покрывает потребности глубинного обучения.

Нейронная сеть TDNN

Нейронная сеть TDNN

Нейронные сети и глубинное обучение требуют огромного массива вычислительных операций. Традиционно для этого используются высокопроизводительные процессоры, потребляющие много энергии. Но в отрасли IoT такой подход неприемлем, так как эти устройства не могут обеспечить большой мощности. Для них необходимо разрабатывать микросхемы с высокой энергоэффективностью, которые отличаются высокой производительностью при малых энергетических затратах.

Искусственные нейронные сети открывают новые уникальные возможности

Искусственные нейронные сети открывают новые уникальные возможности

В традиционной фон-неймановской архитектуре большая часть энергии затрачивается на перемещение данных от памяти к процессору. Одним из наиболее эффективных подходов к устранению этого недостатка является размещение огромного массива вычислительных элементов, каждый из которых нацелен на обработку данных, размещённых ближе всего к нему. Эти точки данных получают весовые коэффициенты в процессе преобразования входного сигнала в выходной. Чем ближе точка данных к желаемому выходу, тем выше коэффициент. Схема весовых коэффициентов используется в процессе глубинного обучения.

Построение процессоров для нейронных сетей часто сопряжено с увеличением сложности микросхем и их габаритов. Toshiba нашла способ создать такой вычислительный блок, который состоит всего из трёх логических вентилей и 1-битной памяти. Компания создала прототип чипа, который использует ячейку SRAM в качестве памяти и при этом способен распознавать рукописные фигуры. По энергоэффективности новое решение в 6 раз опережает другие устройства.

Теперь в планах Toshiba использовать ReRAM-память, что, по её мнению, позволит добиться ещё большей энергоэффективности. Конечной целью является разработка микросхемы, которая позволит добавить технологии глубинного обучения в компактные мобильные устройства.

SK Hynix и Стэндфордский университет создадут нейроморфный чип

Компания SK Hynix и Стэндфордский университет заявили о намерении объединить усилия в исследовании и разработке устройств на базе искусственных нейронных сетей. Основой таких устройств станут ферроэлектрические материалы. Для ускорения разработки к процессу также подключатся компании Lam Research Corporation и Versum Materials. Ожидается, что результатом сотрудничества станет так называемый нейроморфный процессор.

Компании объединились для разработки нейроморфного чипа

Компании объединились для разработки нейроморфного чипа

Нейроморфный чип представляет собой полупроводниковое устройство, имитирующее мысленные процессы, протекающие в человеческом мозге. В таких чипах особенно нуждается отрасль Big Data. В современном мире накапливаются гигантские объёмы неструктурированной информации, и обработка таких данных традиционными последовательными методами неэффективна. Нейроморфный процессор признаётся специалистами как наиболее эффективный инструмент для обработки неструктурированных данных. С помощью технологий искусственных нейронных сетей удастся повысить скорость вычислений, а также уменьшить потребляемую мощность систем.

Искусственная нейронная сеть

Искусственная нейронная сеть

Основой новых чипов станут ферроэлектрики. Материалы этого класса способны спонтанно переходить в постоянное состояние положительной или отрицательной поляризации. При этом возможно осуществить переключение между этими состояниями поляризации путем приложения электрического поля соответствующей полярности. Поскольку материал способен сохранять свою поляризацию при отсутствии внешних полей, обеспечивается энергонезависимое запоминание. 

window-new
Soft
Hard
Тренды 🔥