Покупка активов Habana Labs компанией Intel в декабре прошлого года поставила под вопрос будущее развитие ускорителей систем искусственного интеллекта Nervana. На этой неделе стало известно, что один из основателей Nervana Навин Рао (Naveen Rao) покинул пост корпоративного вице-президента Intel.

Источник изображения: Intel

Карьера Навина Рао в структуре Intel была не очень продолжительной. В августе 2016 года Intel купила основанную им компанию Nervana Systems за сумму около $408 млн, если верить неофициальным данным. В последующем он руководил разработкой ускорителей систем искусственного интеллекта NNP-T и NNP-I, а в прошлом году возглавил группу продуктов для систем искусственного интеллекта в качестве корпоративного вице-президента Intel.

Отныне компания сосредоточится на развитии продуктов купленной в декабре за два миллиарда долларов Habana Labs. О своём уходе из Intel Навин Рао объявил на этой неделе со страниц Twitter, в компании эту информацию подтвердили — он продолжит работать в Intel до десятого марта текущего года. Обязанности Рао после его ухода будут возложены на Гади Сингера (Gadi Singer), который имеет 36-летний опыт работы в отрасли. Навин Рао пока не делится дальнейшими планами на жизнь, предпочитая проводить больше времени с близкими, но не исключает своего возвращения к деятельности, связанной с разработкой систем искусственного интеллекта.

Продолжаем знакомиться с фактическими новинками Intel в области машинного обучения и ИИ. Ранее мы рассказали об ускорителе Intel Nervana NNP-T для машинного обучения с функцией тренировки. Для функции принятия решений (Inference) на основе тренированной модели компания подготовила другой чип ― ускоритель Nervana NNP-I (кодовое имя Spring Hill). Мы уже знаем, что Nervana NNP-I разрабатывается Intel совместно с Facebook, и последняя уже достаточно широко использует эти ускорители. В основе Nervana NNP-I, о чём мы тоже говорили, лежит модифицированный 10-нм процессор Intel поколения Ice Lake. О глубине модификации Ice Lake компания поведала только сейчас на конференции Hot Chips 31. Так что же такое Nervana NNP-I?

Начнём с того, что Nervana NNP-I компания Intel позиционирует как решение для центров обработки данных. Глядя на формфактор решения, в этом можно было усомниться. Чип помещён на компактную плату в формфакторе M.2. Такую плату можно установить куда угодно в слот в массе периферийных устройств. Тем не менее, пока Intel говорит лишь об использовании Nervana NNP-I в формфакторе M.2 только в составе ЦОД. Собственно, формфактор M.2 имеет ограничения по потребляемой мощности и, очевидно, по мере повышения потребления Nervana NNP-I придётся использовать другой формфактор. Так, уже на начальном этапе решения Nervana NNP-I в зависимости от конфигурации могут потреблять от 10 до 50 Вт, тогда как максимально разрешённое потребление для устройства в формфакторе M.2 равно 15 Вт.

Итак, всё-таки ЦОД. В версии Nervana NNP-I оригинальный четырёхъядерный процессор Ice Lake лишился двух вычислительных ядер и встроенного графического ядра. Два оставшихся вычислительных ядра сохранили 10-нм архитектуру Sunny Cove. Это, по мнению Intel, делает чип Nervana NNP-I уникальным в плане программной поддержки решением. Популярная и знакомая программистам система команд x86 обеспечит простоту создания продуктов с использованием языков высокого уровня.

Оставшееся от выброшенных блоков место Intel, в частности, выделила под ИИ-блоки ICE. Но это не Ice Lake. Это ядра Inference Compute Engine, которых может быть от 10 до 12 штук в зависимости от конфигурации. Именно ядра ICE отвечают за функцию принятия решений. По словам Intel, эти ядра оптимизированы для работы с популярными фреймворками для машинного обучения. Ядра Sunny Cove тоже участвуют в процессе работы ИИ-стека, поскольку аппаратно поддерживают 512-битные векторные инструкции и приспособлены для работы с моделями машинного обучения. За счёт оптимальной работы с моделями производительность Nervana NNP-I по отношению к потреблению составляет 4,8 TOPs/Вт, что является хорошим показателем.

Высокая производительность и эффективность Nervana NNP-I также достигается за счёт наличия бортовой памяти как на плате M.2, так и в составе чипа. На плате расположен чип памяти LPDDR4X объёмом 16 Гбайт, который подключается к ускорителю с помощью встроенного в него двухканального контроллера памяти с пропускной способностью 68 Гбайт/с. Следующей в иерархии памяти Nervana NNP-I идёт интегрированная в кристалл кеш-память L3 объёмом 24 Мбайт. Кроме этого каждый блок ICE содержит по 4 Мбайт SRAM и индивидуальные блоки памяти для инструкций и данных. Полный объём SRAM на кристалле достигает 75 Мбайт.

Пределы масштабирования Nervana NNP-I ограничиваются только наличием свободных портов M.2. Решение поддерживает вычисления FP16 и INT8/4/2/1, но не поддерживает BF16 (грубо ― урезанные после запятой FP32). Чип можно заставить работать как в режиме двух ядер, так и 12, что позволяет менять масштабы производительности (и потребления) в 5,85 раза.

На конференции Hot Chips 31 компания Intel раскрыла ряд важнейших характеристик семейства ускорителей нейронных сетей Nervana NNP-T для машинного обучения (тренировки). Ускорители Nervana NNP-T, что важно знать для дальнейшего понимания, Intel разрабатывает вместе с китайским интернет-гигантом компанией Baidu. Вероятно именно этот факт определил выбор производства чипов Nervana NNP-T. Как оказалось, производством и упаковкой этих решений Intel занимается тайваньская компания TSMC. В случае санкций, направленных против сотрудничества американских и китайских компаний, TSMC может оказаться той тихой гаванью, где без помех смогут дружно трудиться все заинтересованные стороны.

Ускорители Nervana NNP-T базируются на оригинальной разработке израильской компании Nervana, поглощённой Intel в 2016 году. Кодовое имя ускорителя Spring Crest. Решение предназначено для масштабируемых и распределённых платформ глубокого машинного обучения как для облачных сервисов, так и для запуска на пограничном (периферийном) оборудовании. Анонсированный чип относится к старшему сегменту и ориентирован на масштабируемые платформы в составе центров по обработке данных. Традиционно для этого сектора компания Intel предлагала универсальные платформы Xeon (Scalable) с поддержкой специальных ИИ-инструкций. Однако компания признаёт, что специализированные ускорители для ML и ИИ ― это самое правильное решение с точки зрения удержания в приемлемых рамках энергетического и производительного бюджетов. Гвозди микроскопом можно забивать, но выходит неудобно и дорого.

Итак, ускорители Nervana NNP-T выпускает компания TSMC, для чего использует 16-нм техпроцесс CLN16FF+ и транзисторы FinFET. Упаковкой ускорителей также занимается она, с применением компоновки 2.5D CoWoS (Chip-on-Wafer-on-Substrate). Базовый кристалл Nervana NNP-T с вычислительными ядрами, памятью и интерфейсами площадью 688 мм² располагается на кремниевом мосту-подложке площадью 1200 мм². Кристалл окружают расположенные на мосту 4 микросхемы HBM2-2400 ёмкостью 8 Гбайт каждая. Общая ёмкость памяти Nervana NNP-T достигает 32 Гбайт со скоростью 2,4 Гбайт/с на каждый вывод (1,2 Тбайт/с на весь массив памяти).

Процессор Nervana NNP-T содержит до 24 тензорных ядер с суммарной производительностью 119 триллиона операций в секунду (TOPS). К центральному процессору решение подключается 16-ю линиями шины PCI Express 4.0. Для связи с соседними ускорителями используется интерфейс SerDes из 8 приёмопередатчиков по 8 линий каждый. Всего 64 линии SerDes обеспечат масштабирование до 1024 узлов по 8 ускорителей в каждом. Тактовая частота каждого тензорного ядра Nervana NNP-T может достигать 1,1 ГГц. Это даёт максимальное значение потребления на уровне 250 Вт, хотя при необходимости потребление может быть удержано на уровне 150 Вт. Транзисторный бюджет старшего кристалла, кстати, 27 млрд штук ключей. Графический процессор NVIDIA GV100 с его 21,1 млрд транзисторов отодвинут в сторонку.

Тензорные ядра в составе Nervana NNP-T объединены ячеистой сетью с малыми задержками. Рядом с ядрами в сеть вплетена встроенная и распределённая по кристаллу память SRAM общим объёмом 60 Мбайт (по 2,5 Мбайт на каждое тензорное ядро). Такая организация позволит минимизировать пересылку данных во внешний пул памяти, хотя на подхвате у Nervana NNP-T на одной с ней подложке находится ещё 32 Гбайт памяти HBM2.

Добавим, не углубляясь в типы поддерживаемых ускорителем моделей обучения, что Nervana NNP-T может ускорять оптимальным образом как многие существующие модели, так ещё и не придуманные, поскольку тензорные ядра могут быть перепрограммированными удобным для владельцев образом. Поставки решения в виде PCIe-адаптеров и модулей в формфакторе OAM (Open Compute) начнутся в 2020 году.

Данные берутся из публикации 40 лет Intel IDC: от ЦП 8088 до ускорителя нейронных сетей

Грозные сообщения в СМИ о разрыве технологических отношений между США и Китаем не отменяют того факта, что эти страны должны и будут продолжать сотрудничать в сфере развития высоких технологий. Это понимают все здравомыслящие граждане, хотя, признаем, складывающаяся ситуация щекочет нервы. Свежим подтверждением неразрывных связей американских и китайских разработчиков стало официальное заявление компании Intel о выборе китайского IT-гиганта компании Baidu в качестве стратегического партнёра для разработки программно-аппаратной платформы для распределённого машинного обучения.

У каждого из представленных партнёров есть свои аппаратные платформы для решения задач, связанных с ML. У Intel это серверы на процессорах Xeon и ряд специализированных решений, а у Baidu ― 14-нм ускорители Kunlun (серия 818-300). Но все эти платформы предполагают мощные удалённые кластеры, тогда как целью сотрудничества Intel и Baidu стала разработка энергоэффективных аппаратных решений, которые могли бы обучаться в распределённой нейронной сети даже на базе условных смартфонов. Это совсем другая производительность и иные способы организации тренировки на моделях. Очевидно, что предложенный способ дополнит существующую методику тренировок на базе ЦОД.

Будущий процессор получил обозначение NNP-T (Neural Network Processor for training) и будет распространяться под брендом Nervana. Компания Intel поглотила компанию Nervana в 2016 году и с тех пор расширяет портфель разработок под этим брендом. Например, на днях Intel представила модифицированный в ускоритель Nervana NNP-I процессор Ice Lake. Это ускоритель для принятия решений на основе уже тренированной сети. Вероятно, NNP-T и NNP-I будут сосуществовать в общей экосистеме мобильных и встраиваемых решений.

Компании Intel и Baidu сотрудничают около 10 лет. Это сотрудничество плотно увязано с разработкой ИИ-технологий. По мнению Intel, грядёт эпоха ИИ 2.0 и взрывного распространения элементов искусственного интеллекта. Главное, не опоздать к началу взрыва.

Как сообщают наши коллеги с сайта Tom’s Hardware Guide, на мероприятии Israeli Development Center (IDC) Day в Хайфе компания Intel под брендом Nervana представила новые ускорители нейронных сетей. Речь идёт об ускорителе Nervana Neural Network Processor for Inference (NNP-I). Очевидно, это то решение, над которым Intel вместе работает с компанией Facebook. В начале января 2019 года на CES 2019 компании сообщили, что создают высокоэффективный чип для ускорения нейронных сетей с функцией принятия решений. Это важная составляющая платформ с машинным обучением и функциями искусственного интеллекта. Она не такая ресурсоёмкая, как обучение и может быть сравнительно легко делегирована периферийным устройствам. Но без функции принятия решений ни одна модель машинного обучения не стоит выеденного яйца.

Оказалось, что Nervana Neural Network Processor for Inference ― это модифицированный 10-нм процессор поколения Ice Lake. Часть вычислительных ядер из него выброшены (вероятно, два из четырёх доступных), а вместо них и встроенного GPU (который тоже модифицирован либо ликвидирован) на кристалле размещены специализированные ИИ-блоки и универсальные цифровые сигнальные процессоры (DSP). Максимальное потребление NNP-I осталось на прежнем уровне 28 Вт, но появилось иное ограничение. Оно связано с выбранным для NNP-I вариантом изготовления, что оказалось очень интересным.

Компания Intel приняла решение выпускать модули Nervana с модифицированными Ice Lake в формфакторе карт M.2. Спецификациями разъём и формфактор M.2 предназначены не только для SSD-накопителей, хотя именно они тотально выпускаются в таком виде. В формфакторе M.2 можно выпускать любую периферию с интерфейсом PCIe, например, сотовые модемы. Или ускорители NNP-I, как решили в Intel. Актуальные спецификации M.2 не разрешают использовать питание с потреблением свыше 15 Вт, что ограничит производительность NNP-I при подключении к соответствующим разъёмам на материнской плате. Зато такого ограничения не будет, если в полноценный слот PCI Express на материнской плате через расширитель установить несколько NNP-I в формфакторе NNP-I.

Ожидается, что поставщики облачных услуг получат NNP-I и необходимый инструментарий до конца текущего года. Можно ожидать, что компания Facebook станет первой из них.

Данные берутся из публикации Репортаж с Intel AI Day: новый мозг для искусственного разума

Данные берутся из публикации Intel на SC16: клич войны с GPU?

Корпорация Intel объявила о заключении сделки по приобретению стартапа Nervana, специализирующегося на разработке программного и аппаратного обеспечения для «глубокого обучения» (Deep Learnin).

Фирма Nervana была основана в 2014 году. Она базируется в Сан-Диего (Калифорния, США). После перехода под крыло Intel компания сохранит своё прежнее месторасположение и команду сотрудников.

Отмечается, что наработки Nervana позволят Intel ускорить инновации в области искусственного интеллекта. Решения Nervana в сфере глубокого обучения могут пригодиться в таких областях, как распознавание образов, компьютерное зрение, обработка естественного языка и пр. Планируется, что технологии Nervana будут использованы для расширения возможностей процессоров Intel Xeon и Intel Xeon Phi.

О сумме сделки ничего не сообщается. Приобретение Nervana является частью стратегии Intel, которая предусматривает трансформацию из компании, ориентированной в первую очередь на рынок персональных компьютеров, в корпорацию, занимающуюся развитием сетевых технологий и «умных» подключенных устройств. Intel намерена уделять больше внимания быстрорастущим направлениям, где корпорация располагает всем необходимым для сохранения лидерских позиций в долгосрочной перспективе.