Сегодня 31 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Intel представила ИИ-ускорители Gaudi 3, которые громят NVIDIA H100 по производительности и энергоэффективности

Сегодня на мероприятии Vision 2024 компания Intel представила множество новых продуктов, среди которых ИИ-ускорители Gaudi 3. По заявлениям создателей, они позволяют обучать нейросети в 1,7 раза быстрее, на 50 % увеличить производительность инференса и работают на 40 % эффективнее конкурирующих H100 от NVIDIA, которые являются самыми популярными на рынке.

 Источник изображений: Intel

Источник изображений: Intel

Gaudi 3 — третье поколение ускорителей ИИ, появившихся благодаря приобретению Intel в 2019 году компании Habana Labs за $2 млрд. Массовое производство Gaudi 3 для OEM-производителей серверов начнётся в третьем квартале 2024 года. Помимо этого, Gaudi 3 будет доступен в облачном сервисе Intel Developer Cloud для разработчиков, что позволит потенциальным клиентам испытать возможности нового чипа.

Gaudi 3 использует ту же архитектуру и основополагающие принципы, что и его предшественник, но при этом он выполнен по более современному 5-нм техпроцессу TSMC, тогда как в Gaudi 2 использованы 7-нм чипы. Ускоритель состоит из двух кристаллов, на которые приходится 64 ядра Tensor Processing Cores (TPC) пятого поколения и восемь матричных математических движков (MME), а также 96 Мбайт памяти SRAM с пропускной способностью 12,8 Тбайт/с. Вокруг установлено 128 Гбайт HBM2e с пропускной способностью 3,7 Тбайт/с. Также Gaudi 3 укомплектован 24 контроллерами Ethernet RDMA с пропускной способностью по 200 Гбит/с, которые обеспечивают связь как между ускорителями в одном сервере, так и между разными серверами в одной системе.

Gaudi 3 будет выпускаться в двух формфакторах. Первый — OAM (модуль ускорителя OCP) HL-325L, использующийся в высокопроизводительных системах на основе ускорителей вычислений. Этот ускоритель получит TDP 900 Вт и производительность 1835 терафлопс в FP8. Модули OAM устанавливаются по 8 штук на UBB-узел HLB-325, которые можно объединять в системы до 1024 узлов. По сравнению с прошлым поколением, Gaudi 3 обеспечивает вдвое большую производительность в FP8 и вчетверо — в BF16, вдвое большую пропускную способность сети и 1,5 раза — памяти.

OAM устанавливаются в универсальную плату, поддерживающую до восьми модулей. Модули и платы уже отгружены партнёрам, но массовые поставки начнутся лишь к концу года. Восемь OAM на плате HLB-325 дают производительность 14,6 петафлопс в FP8, остальные характеристики масштабируются линейно.

Второй формфактор — двухслотовая карта расширения PCIe с TDP 600 Вт. По заявлениям Intel, несмотря на заметно меньший TDP этой версии, производительность в FP8 осталась той же — 1835 терафлопс. А вот масштабируемость хуже — модули рассчитаны на работу группами по четыре. Gaudi 3 в данном формфакторе появятся в 4 квартале 2024 года.

Dell, HPE, Lenovo и Supermicro уже поставили клиентам образцы систем с Gaudi 3 с воздушным охлаждением, а в ближайшее время должны появится модели с жидкостным охлаждением. Массовое производство начнётся лишь в 3 и 4 кварталах 2024 года соответственно.

Intel также поделилась собственными тестами производительности, сравнив Gaudi 3 с системами на основе H100. По словам Intel, Gaudi 3 справляется с обучением нейросетей в 1,5–1,7 раза быстрее. Сравнение велось на моделях LLAMA2-7B и LLAMA2-13B на системах с 8 и 16 ускорителями, а также на модели GPT 3-175B на системе с 8192 ускорителями. Intel не стала сравнивать системы на Gaudi 3 с системами на H200 от NVIDIA, у которого на 76 % больше памяти, а её пропускная способность выше на 43 %.

Intel сравнила Gaudi 3 с H200 в инференсе, но уже не кластерами, а отдельным модулем. В пяти тестах с LLAMA2-7B/70B производительность Gaudi 3 оказалась на 10–20 % ниже, в двух равна и в одном чуть выше H200. При этом Intel заявляет о 2,6-кратном преимуществе в энергопотреблении по сравнению с H100.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Новый стандарт шутеров от первого лица»: Electronic Arts подтвердила дату выхода, цену и королевскую битву Battlefield 6 6 мин.
Google снова проиграла суд Epic Games: отвертеться от сторонних магазинов приложений и платёжных систем в Android не вышло 19 мин.
Nvidia выпустила драйвер GeForce 580.88 с поддержкой Mafia: The Old Country и множеством исправлений в других играх 3 ч.
Mafia: The Old Country создавалась с учётом апскейлеров — «эпические» системные требования и особенности игры на ПК 3 ч.
В Epic Games Store стартовала раздача комедийного приключения ручной работы Pilgrims от создателей Machinarium и Samorost 3 ч.
THQ Nordic показала 12 минут геймплея Titan Quest 2 и раскрыла, что войдёт в игру на старте раннего доступа 4 ч.
Недоработки в системе защиты данных Spotify раскрыли музыкальный вкус знаменитостей и политиков 5 ч.
«СберТех» представил систему Platform V CopyWala для резервного копирования СУБД на базе PostgreSQL 5 ч.
Google защитит автозаполнение паролей в Chrome на Android биометрией 5 ч.
Исследователь обнаружил крайне опасную уязвимость в Safari — Apple оценила находку всего в $1000 6 ч.
HEDT-процессоры AMD Ryzen Threadripper 9000 поступили в продажу — у Intel аналогов нет 11 мин.
Пчёлам в Новой Зеландии провели спутниковый интернет от Starlink 3 ч.
Выпущенные в Индии iPhone увернулись от повышенных пошлин Трампа, пока что 4 ч.
DJI представила 360-градусную экшн-камеру Osmo 360, которая умеет снимать 100-минутные ролики в 8K 4 ч.
G42 готова завершить сделку с Northern Data для получения доступа к ЦОД в Европе 5 ч.
Китайская Fourier показала «самого милого» гуманоидного робота для дома и школы 5 ч.
Galaxy S25 FE выйдет раньше, чем ожидалось — Samsung поделилась планами по выпуску новинок 6 ч.
Складные смартфоны набирают популярность: Galaxy Z Fold7 в полтора раза обогнал Fold6 по предзаказам в США 6 ч.
Microsoft впервые заработала на Game Pass $5 млрд за год — это сгладило рухнувшие на 22 % продажи консолей Xbox 8 ч.
«Компания не будет тратить на это деньги»: SpaceX ответит в суде за пренебрежение безопасностью сотрудников 8 ч.