Требования американских властей к допустимому быстродействию ускорителей вычислений, разрешённых к поставке в Китай, в большинстве случаев формулируются в виде каких-то измеримых характеристик, но редко становятся известны общественности. Компания Intel, как стало известно на этой неделе, также столкнётся с ограничениями на поставку ускорителей Gaudi в Китай.

Источник изображения: Intel

Переживающего не самый простой период в своей истории процессорного гиганта сейчас сложно назвать заметным игроком в сегменте ускорителей вычислений для систем искусственного интеллекта. Из тех 10 % рынка, которые оставляет прочим участникам рынка компания Nvidia, основная часть приходится на долю AMD, а роль Intel в данном виде коммерческой деятельности вообще минимальна. К слову, данное упущение не осталось без внимания нового генерального директора Intel Лип-Бу Тана (Lip-Bu Tan), и он пообещал укреплять позиции компании в сегменте ускорителей для систем ИИ.

По данным Financial Times, компания Intel уже уведомила своих китайских клиентов о необходимости получить экспортную лицензию на поставку в КНР своих ускорителей вычислений, обладающих уровнем быстродействия выше заявленных властями США пределов. Так, для пропускной способности памяти установлен порог в 1400 Гбайт/с, для пропускной способности интерфейсов — 1100 Гбайт/с, при этом в совокупности эти величины не могут превышать 1700 Гбайт/с. Как и ускорители Nvidia H20, решения Intel семейства Gaudi заведомо попадают под ограничения.

Nvidia уже оценила свои возможные потери от новых санкций США в данной сфере в $5,5 млрд по итогам только первого квартала. По неофициальным данным, по итогам всего текущего года эти потери легко превысят $10 млрд. Компания AMD пока довольствуется более скромными оценками ущерба на уровне $800 млн, а Intel свои расчёты на эту тему пока не опубликовала. Упоминание о необходимости получить экспортные лицензии для поставки ускорителей в Китай является лишь формальностью. На практике у всех трёх компаний крайне мало шансов подобными лицензиями обзавестись.

Компания Stability AI, разработчик популярной модели генеративного ИИ Stable Diffusion, сравнила производительность модели Stable Diffusion 3 на популярных ускорителях вычислений для центров обработки данных, включая Nvidia H100 Hopper, A100 Ampere и Intel Gaudi2. По утверждению Stability AI, Intel Gaudi2 продемонстрировал производительность примерно на 56 % выше, чем Nvidia H100.

Источник изображения: Intel

В отличие от H100, который представляет собой суперскалярный графический процессор с тензорными CUDA-ядрами, Gaudi2 специально спроектирован для ускорения генеративного ИИ и больших языковых моделей (LLM). В тестах приняли участие пары кластеров, которые в сумме обеспечивали по 16 тех или ускорителей, а проводились тесты с постоянным размером батча (число тренировочных объектов) в 16 на каждый ускоритель (всего 256). Системы на Intel Gaudi2 оказались способны генерировать 927 изображений в секунду по сравнению с 595 изображениями для ускорителей H100 и 381 изображением в секунду для массива A100.

Источник изображения: Stability AI

При увеличении количества кластеров до 32, а числа ускорителей до 256 и размере батча 16 на ускоритель (общий размер 4096), массив Gaudi2 генерирует 12 654 изображения в секунду или 49,4 изображения в секунду на ускоритель, по сравнению с 3992 изображениями в секунду или 15,6 изображениями в секунду на устройство у массива A100 Ampere.

Источник изображения: Nvidia

Необходимо отметить, что производительность ускорителей ИИ измерялась с использованием фреймворка PyTorch, а в случае применения оптимизации TensorRT чипы A100 создают изображения до 40 % быстрее, чем Gaudi2. Тем не менее, исследователи Stability AI ожидают, что при дальнейшей оптимизации Gaudi2 превзойдёт A100. Компания полагает, что более быстрый интерконнект и больший объем памяти (96 Гбайт) делают решения Intel вполне конкурентоспособными и планирует использовать ускорители Gaudi2 в Stability Cloud.

Источник изображения: techpowerup.com

По сообщению Stability AI, в более ранних тестах модели Stable Diffusion XL с использованием фреймворка PyTorch ускоритель Intel Gaudi2 генерирует при 30 шагах изображение размером 1024 × 1024 за 3,2 секунды по сравнению с 3,6 секунды для PyTorch на Nvidia A100 и 2,7 секунды при использовании оптимизации TensorRT на Nvidia А100.