Сегодня 08 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Intel представила ИИ-ускорители Gaudi 3, которые громят NVIDIA H100 по производительности и энергоэффективности

Сегодня на мероприятии Vision 2024 компания Intel представила множество новых продуктов, среди которых ИИ-ускорители Gaudi 3. По заявлениям создателей, они позволяют обучать нейросети в 1,7 раза быстрее, на 50 % увеличить производительность инференса и работают на 40 % эффективнее конкурирующих H100 от NVIDIA, которые являются самыми популярными на рынке.

 Источник изображений: Intel

Источник изображений: Intel

Gaudi 3 — третье поколение ускорителей ИИ, появившихся благодаря приобретению Intel в 2019 году компании Habana Labs за $2 млрд. Массовое производство Gaudi 3 для OEM-производителей серверов начнётся в третьем квартале 2024 года. Помимо этого, Gaudi 3 будет доступен в облачном сервисе Intel Developer Cloud для разработчиков, что позволит потенциальным клиентам испытать возможности нового чипа.

Gaudi 3 использует ту же архитектуру и основополагающие принципы, что и его предшественник, но при этом он выполнен по более современному 5-нм техпроцессу TSMC, тогда как в Gaudi 2 использованы 7-нм чипы. Ускоритель состоит из двух кристаллов, на которые приходится 64 ядра Tensor Processing Cores (TPC) пятого поколения и восемь матричных математических движков (MME), а также 96 Мбайт памяти SRAM с пропускной способностью 12,8 Тбайт/с. Вокруг установлено 128 Гбайт HBM2e с пропускной способностью 3,7 Тбайт/с. Также Gaudi 3 укомплектован 24 контроллерами Ethernet RDMA с пропускной способностью по 200 Гбит/с, которые обеспечивают связь как между ускорителями в одном сервере, так и между разными серверами в одной системе.

Gaudi 3 будет выпускаться в двух формфакторах. Первый — OAM (модуль ускорителя OCP) HL-325L, использующийся в высокопроизводительных системах на основе ускорителей вычислений. Этот ускоритель получит TDP 900 Вт и производительность 1835 терафлопс в FP8. Модули OAM устанавливаются по 8 штук на UBB-узел HLB-325, которые можно объединять в системы до 1024 узлов. По сравнению с прошлым поколением, Gaudi 3 обеспечивает вдвое большую производительность в FP8 и вчетверо — в BF16, вдвое большую пропускную способность сети и 1,5 раза — памяти.

OAM устанавливаются в универсальную плату, поддерживающую до восьми модулей. Модули и платы уже отгружены партнёрам, но массовые поставки начнутся лишь к концу года. Восемь OAM на плате HLB-325 дают производительность 14,6 петафлопс в FP8, остальные характеристики масштабируются линейно.

Второй формфактор — двухслотовая карта расширения PCIe с TDP 600 Вт. По заявлениям Intel, несмотря на заметно меньший TDP этой версии, производительность в FP8 осталась той же — 1835 терафлопс. А вот масштабируемость хуже — модули рассчитаны на работу группами по четыре. Gaudi 3 в данном формфакторе появятся в 4 квартале 2024 года.

Dell, HPE, Lenovo и Supermicro уже поставили клиентам образцы систем с Gaudi 3 с воздушным охлаждением, а в ближайшее время должны появится модели с жидкостным охлаждением. Массовое производство начнётся лишь в 3 и 4 кварталах 2024 года соответственно.

Intel также поделилась собственными тестами производительности, сравнив Gaudi 3 с системами на основе H100. По словам Intel, Gaudi 3 справляется с обучением нейросетей в 1,5–1,7 раза быстрее. Сравнение велось на моделях LLAMA2-7B и LLAMA2-13B на системах с 8 и 16 ускорителями, а также на модели GPT 3-175B на системе с 8192 ускорителями. Intel не стала сравнивать системы на Gaudi 3 с системами на H200 от NVIDIA, у которого на 76 % больше памяти, а её пропускная способность выше на 43 %.

Intel сравнила Gaudi 3 с H200 в инференсе, но уже не кластерами, а отдельным модулем. В пяти тестах с LLAMA2-7B/70B производительность Gaudi 3 оказалась на 10–20 % ниже, в двух равна и в одном чуть выше H200. При этом Intel заявляет о 2,6-кратном преимуществе в энергопотреблении по сравнению с H100.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Microsoft упростит установку приложений в Windows 11, но это может привести к засорению системы 2 ч.
Первое сюжетное дополнение к Kingdom Come: Deliverance 2 не заставит себя долго ждать — новый трейлер и дата выхода Brushes with Death 3 ч.
Meta наделит следующие умные очки Ray-Ban «супервосприятием» — функцией распознавания лиц окружающих 5 ч.
Первый геймплейный трейлер подтвердил дату выхода Mafia: The Old Country — игру будут продавать за $50 5 ч.
ИИ-боты начинают чаще привирать, когда их просят о лаконичных ответах — исследование 6 ч.
Перенос GTA VI прибавил Electronic Arts уверенности в успехе новой Battlefield 6 ч.
Apple начала принимать заявки на компенсации по иску о подслушивании Siri 7 ч.
Saber Interactive «выкатила» системные требования амбициозного симулятора RoadCraft 9 ч.
Microsoft отстояла сделку века: Activision Blizzard остаётся в империи Xbox 10 ч.
Huawei избавится от Windows вслед за Android — представлена ПК-версия HarmonyOS 11 ч.
Lenovo возродила 3D-гейминг — представлен ноутбук Legion 9i с RTX 5090, безочковым 3D-экраном и крышкой из кованного углеволокна 2 ч.
Razer выпустила компактные игровые мышь Basilisk Mobile и клавиатуру Joro для мобильного гейминга 2 ч.
Alienware представила тонкие и доступные геймерские ноутбуки Aurora 16 и 16X в сдержанном дизайне 5 ч.
Cadence представила суперкомпьютер Millennium M2000 на базе NVIDIA Blackwell 5 ч.
Synology выпустила сетевые хранилища DiskStation DS1825+ и DS1525+ на базе AMD Ryzen V1500B 5 ч.
IBM представила сервер LinuxONE Emperor 5 на платформе Telum II для ИИ-задач 5 ч.
Samsung представила смартфон Galaxy F56 с чипом Exynos 1480 и толщиной 7,2 мм 6 ч.
Nvidia оставила прессу без драйвера для GeForce RTX 5060 — так обзоры не испортят старт продаж 6 ч.
Поставки OLED-мониторов за год взлетели на 175 % — Asus наступает на пятки лидирующей Samsung 7 ч.
Arctic представила доступные башенные кулеры Freezer 8, заточенные под современные AMD Ryzen и Intel Core 8 ч.