Высокий спрос на ускорители вычислений Nvidia сделал эту компанию крупнейшей по величине капитализации в мире, пусть и на короткое время. Руководство AMD на этой неделе также призналось, что спрос на её ускорители Instinct превышает предложение. И только компании Intel пришлось заявить, что её собственные ожидания в этой сфере оказались завышены, и выручить на поставках Gaudi 3 запланированные $500 млн она в этом году не сможет.

Источник изображения: Intel

Компания Intel, как поясняет The Verge, ранее выражала уверенность в своей способности выручить за счёт бума искусственного интеллекта в этом году от $1 млрд до $2 млрд в целом, а на поставках ускорителей вычислений Gaudi как таковых — не менее $500 млн. Опубликовав квартальный отчёт в конце этой рабочей недели, она не стала скрывать, что не сможет приблизиться к заветной цели. «Мы не достигнем нашей цели в $500 млн выручки от реализации Gaudi в 2024 году», — заявил генеральный директор Патрик Гелсингер (Patrick Gelsinger).

Анонс ускорителей семейства Gaudi 3 состоялся в прошлом квартале, «общий спрос на Gaudi оказался ниже ожиданий, поскольку распространение ускорителей подверглось влиянию перехода с Gaudi 2 на Gaudi 3, а также простоты использования программного обеспечения», как добавил глава Intel. В любом случае, по его словам, компания воодушевлена тем рыночным потенциалом, который доступен ей в этой сфере. На рынке, как он считает, есть спрос на решения с превосходными показателями совокупной стоимости владения, основанные на открытых стандартах, и Gaudi в этом отношении может быть очень выгодным предложением.

К слову, операционная прибыль Intel в третьем квартале была снижена на $300 млн из-за необходимости списать часть складских запасов ускорителей, и ситуация с пересмотром прогноза по выручке в худшую сторону имеет прямое к этому отношение. Какие именно ускорители пришлось списать, не уточняется, но речь может идти о решениях прежних поколений, поскольку Gaudi 3 только вышли в третьем квартале.

Для повышения собственной конкурентоспособности на рынке аппаратных решений для сферы искусственного интеллекта в прошлом месяце компания Intel выпустила ИИ-ускоритель Gaudi 3, который изготавливается по техпроцессу 5 нм. Теперь же стало известно, что борющаяся с трудностями Intel сократила планы поставок таких чипов на 30 % в 2025 году. В конечном счёте это может оказать негативное влияние на партнёров Intel из цепочки поставок на Тайване.

Источник изображения: trendforce.com

В сообщении сказано, что сокращение поставок может быть обусловлено изменением внутренней политики компании и спроса, из-за чего Intel приняла решение о сокращении заказов на Тайване у таких компаний, как TSMC, ASE Technology и Alchip. По данным источника, изначально Intel планировала выпустить от 300 до 350 тыс. ИИ-ускорителей Gaudi 3 в 2025 году. Теперь же этот план был пересмотрен, и компания намерена поставить на рынок от 200 до 250 тыс. таких ускорителей.

Отмечается, что после покупки в 2019 году израильского производителя Habana Labs, занимавшегося разработкой ИИ-чипов, Intel стала относиться к идее разработки ИИ-ускорителей нового поколения совместно со сторонними компаниями более осторожно. Об этом свидетельствуют недавние шаги компании, включая ускоренное свёртывание производства ускорителей Gaudi 2 и снижение планов по поставкам Gaudi 3 на следующий год. Официальные представители Intel отказались от комментариев по данному вопросу.

По данным источника, изменение планов Intel окажет незначительное влияние на TSMC, мощности которой используются для производства Gaudi 3. Передовые производственные линии TSMC пользуются большим спросом, поэтому место Intel, вероятно, займут другие клиенты. Это же касается компании ASE и её дочернего предприятия SPIL, которые занимаются упаковкой и тестированием микросхем в рамках сотрудничества с Intel. Для менее крупных компаний, таких как проектирующая специализированные ASIC для Gaudi 2 и Gaudi 3 Alchip последствия могут быть более серьёзными. Компания Unimicron, являющаяся одним из основных поставщиков подложек для чипов Intel, также может пострадать из-за снижения заказов на производство продукции для американской компании.

Компания Intel сообщила о выпуске новых серверных процессоров серии Xeon 6 (Granite Rapids), которые располагают исключительно P-ядрами. Также компания объявила о выпуске специализированного ИИ-ускорителя Gaudi 3.

Источник изображений: Intel

Granite Rapids производятся по техпроцессу Intel 3 (5 нм). В серию вошли пять моделей с количеством ядер от 72 до 128, базовой частотой от 2,0 до 2,7 ГГц и максимальной частотой 3,9 ГГц (на одном ядре), а также от 3,2 до 3,7 ГГц на всех ядрах. Процессоры получили от 432 до 504 Мбайт кеш-памяти L3 и обладают заявленным показателем TDP от 400 до 500 Вт.

Чипы поддерживают как однопроцессорные, так и двухпроцессорные сборки, имеют поддержку 12-канальной ОЗУ DDR5-6400 и MRDIMM-8800, а также оснащены поддержкой 96 линий PCIe.

Intel заявляет, что Xeon 6 отличаются от предшественников увеличенным числом ядер, удвоенной пропускной способностью памяти и возможностями ускорения ИИ, встроенными в каждое ядро. Эти чипы разработаны для удовлетворения требований производительности ИИ — от Edge-систем до центров обработки данных и облачных сред.

Intel заявляет, что новые Xeon 6 более чем вдвое быстрее процессоров Epyc Genoa (максимально — 96 ядер Zen 4) в широком спектре вычислительных нагрузок и более чем впятеро быстрее в нейросетевых задачах.

В свою очередь специализированные ИИ-ускорители Gaudi 3 специально оптимизированы для работы с генеративными моделями. В их составе используются 64 тензорных процессора (TPC) и восемь движков матричного умножения (MME) для ускорения вычислений глубоких нейронных сетей. Также ускорители Gaudi 3 получили 128 Гбайт набортной памяти HBM2 и поддерживают до 24 портов Ethernet 200 Гбит для масштабируемых сетей. Для Gaudi 3 заявляется бесшовная совместимость с фреймворком PyTorch и усовершенствованными трансформными и диффузионными моделями Hugging Face.

Intel заявляет, что новые ИИ-ускорители Gaudi 3 обеспечивают до 20 процентов большую пропускную способность и двукратное улучшение соотношения цены и производительности по сравнению с H100 для вывода модели LLaMa 2 70B.

Сегодня на мероприятии Vision 2024 компания Intel представила множество новых продуктов, среди которых ИИ-ускорители Gaudi 3. По заявлениям создателей, они позволяют обучать нейросети в 1,7 раза быстрее, на 50 % увеличить производительность инференса и работают на 40 % эффективнее конкурирующих H100 от NVIDIA, которые являются самыми популярными на рынке.

Источник изображений: Intel

Gaudi 3 — третье поколение ускорителей ИИ, появившихся благодаря приобретению Intel в 2019 году компании Habana Labs за $2 млрд. Массовое производство Gaudi 3 для OEM-производителей серверов начнётся в третьем квартале 2024 года. Помимо этого, Gaudi 3 будет доступен в облачном сервисе Intel Developer Cloud для разработчиков, что позволит потенциальным клиентам испытать возможности нового чипа.

Gaudi 3 использует ту же архитектуру и основополагающие принципы, что и его предшественник, но при этом он выполнен по более современному 5-нм техпроцессу TSMC, тогда как в Gaudi 2 использованы 7-нм чипы. Ускоритель состоит из двух кристаллов, на которые приходится 64 ядра Tensor Processing Cores (TPC) пятого поколения и восемь матричных математических движков (MME), а также 96 Мбайт памяти SRAM с пропускной способностью 12,8 Тбайт/с. Вокруг установлено 128 Гбайт HBM2e с пропускной способностью 3,7 Тбайт/с. Также Gaudi 3 укомплектован 24 контроллерами Ethernet RDMA с пропускной способностью по 200 Гбит/с, которые обеспечивают связь как между ускорителями в одном сервере, так и между разными серверами в одной системе.

Gaudi 3 будет выпускаться в двух формфакторах. Первый — OAM (модуль ускорителя OCP) HL-325L, использующийся в высокопроизводительных системах на основе ускорителей вычислений. Этот ускоритель получит TDP 900 Вт и производительность 1835 терафлопс в FP8. Модули OAM устанавливаются по 8 штук на UBB-узел HLB-325, которые можно объединять в системы до 1024 узлов. По сравнению с прошлым поколением, Gaudi 3 обеспечивает вдвое большую производительность в FP8 и вчетверо — в BF16, вдвое большую пропускную способность сети и 1,5 раза — памяти.

OAM устанавливаются в универсальную плату, поддерживающую до восьми модулей. Модули и платы уже отгружены партнёрам, но массовые поставки начнутся лишь к концу года. Восемь OAM на плате HLB-325 дают производительность 14,6 петафлопс в FP8, остальные характеристики масштабируются линейно.

Второй формфактор — двухслотовая карта расширения PCIe с TDP 600 Вт. По заявлениям Intel, несмотря на заметно меньший TDP этой версии, производительность в FP8 осталась той же — 1835 терафлопс. А вот масштабируемость хуже — модули рассчитаны на работу группами по четыре. Gaudi 3 в данном формфакторе появятся в 4 квартале 2024 года.

Dell, HPE, Lenovo и Supermicro уже поставили клиентам образцы систем с Gaudi 3 с воздушным охлаждением, а в ближайшее время должны появится модели с жидкостным охлаждением. Массовое производство начнётся лишь в 3 и 4 кварталах 2024 года соответственно.

Intel также поделилась собственными тестами производительности, сравнив Gaudi 3 с системами на основе H100. По словам Intel, Gaudi 3 справляется с обучением нейросетей в 1,5–1,7 раза быстрее. Сравнение велось на моделях LLAMA2-7B и LLAMA2-13B на системах с 8 и 16 ускорителями, а также на модели GPT 3-175B на системе с 8192 ускорителями. Intel не стала сравнивать системы на Gaudi 3 с системами на H200 от NVIDIA, у которого на 76 % больше памяти, а её пропускная способность выше на 43 %.

Intel сравнила Gaudi 3 с H200 в инференсе, но уже не кластерами, а отдельным модулем. В пяти тестах с LLAMA2-7B/70B производительность Gaudi 3 оказалась на 10–20 % ниже, в двух равна и в одном чуть выше H200. При этом Intel заявляет о 2,6-кратном преимуществе в энергопотреблении по сравнению с H100.

В июле этого года компания Intel объявила о начале поставок в Китай ускорителей вычислений Gaudi2, которые соответствуют актуальным ограничениям США в области экспортного контроля. Как сообщают тайваньские источники, данный вид продукции оказался очень востребован в КНР, и теперь Intel приходится заказывать дополнительное количество чипов у компании TSMC, чтобы удовлетворить спрос.

Источник изображения: Intel

Напомним, что с осени прошлого года на поставку ускорителей вычислений в Китай действуют ограничения со стороны США, распространяющиеся на любые изделия, использующие технологии американского происхождения. Являющаяся лидером сегмента компания NVIDIA в сжатые сроки адаптировала для китайского рынка ускорители A800, у которых по сравнению с A100 была уменьшена скорость обмена данными, позже приступив к поставкам в Китай аналогичным образом адаптированных ускорителей H800. Руководство AMD тоже недавно заявило, что компания готова предлагать китайским клиентам ускорители вычислений, адаптированные с учётом действующих санкций США.

Как известно, ускорители NVIDIA оказались в дефиците по всему миру из-за резко возросшего спроса и неспособности TSMC проводить тестирование и упаковку профильных чипов в необходимых количествах. Китай тоже не смог избежать этой участи, а санкции США только усугубили ситуацию. Как сообщает South China Morning Post со ссылкой на опрошенные известным таблоидом DigiTimes отраслевые источники, ускорители Gaudi2 на китайском рынке пользуются высоким спросом с момента начала поставок в июле, и теперь Intel вынуждена обратиться к TSMC за увеличением объёмов выпуска.

В первом поколении ускорители Gaudi использовали услуги TSMC не только для производства вычислительных чипов по 16-нм технологии, но и при упаковке с использованием технологии CoWoS, поэтому пока сложно судить, в какой степени Intel зависит от услуг TSMC при экспансии производства Gaudi2. Китайские компании в условиях санкций США готовы скупать любые вычислительные решения, которые позволят сократить отставание от западных конкурентов в сфере развития актуальных сейчас систем искусственного интеллекта.

Компания Intel на этой неделе провела пресс-конференцию в Пекине, где был анонсирован выход ускорителей вычислений Habana Gaudi2 на китайский рынок. Чтобы соответствовать требованиям американских правил экспортного контроля, версия Gaudi2 для китайских облачных провайдеров и производителей серверов будет модифицирована, сообщает DigiTimes.

Источник изображения: Intel

Компания NVIDIA ещё осенью прошлого года успела быстро перестроиться под требования американских санкций, начав поставки в Китай специально модифицированных ускорителей вычислений A800 и H800, обладающих усечённым быстродействием. По некоторым данным, Intel собирается последовать примеру NVIDIA и предложить клиентам в Китае, включая Inspur, New H3C и xFusion, адаптированные версии своих ускорителей.

Следует напомнить, что ускорители Gaudi2 в Европе и США начали предлагаться в мае прошлого года, ко второму полугодию Supermicro смогла построить на их основе серверную систему для обучения искусственного интеллекта. Программное обеспечение для этих ускорителей было недавно адаптировано под использование популярных сейчас больших языковых моделей (LLM).

На рынке Китая ускорители Habana Gaudi2 могут стать альтернативой решениям NVIDIA в ряде выполняемых задач, поскольку последняя из компаний не в силах сейчас угнаться за спросом на свою продукцию во всём мире, а в Китае ситуация ещё и усугубляется санкциями. Впрочем, за год присутствия этих ускорителей Intel на рынках США и Европы особого распространения они получить не успели, но в Китае именно санкции против продукции AMD и NVIDIA могут косвенно способствовать успеху изделий Intel. В линейке продукции этой компании ускорители Habana Gaudi2 лучше всего адаптированы под работу с большими языковыми моделями. К 2025 году Intel рассчитывает представить более конкурентоспособные ускорители вычислений с архитектурой, заимствованной у GPU.

Изначально основанная в 2016 году Habana была израильским стартапом, прежде чем в 2019 году её купила Intel. Китайские клиенты, как выясняется, успели познакомиться с разработками Habana ещё до этого момента, поэтому для них ускорители Gaudi2 не будут новинками в полном смысле.