Требования американских властей к допустимому быстродействию ускорителей вычислений, разрешённых к поставке в Китай, в большинстве случаев формулируются в виде каких-то измеримых характеристик, но редко становятся известны общественности. Компания Intel, как стало известно на этой неделе, также столкнётся с ограничениями на поставку ускорителей Gaudi в Китай.

Пять причин полюбить HONOR Pad V9

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Пять причин полюбить HONOR Magic7 Pro

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

Фитнес-браслет HUAWEI Band 10: настоящий металл

Пять причин полюбить HONOR X8c

Почему ИИ никак не сесть на безматричную диету

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Источник изображения: Intel

Переживающего не самый простой период в своей истории процессорного гиганта сейчас сложно назвать заметным игроком в сегменте ускорителей вычислений для систем искусственного интеллекта. Из тех 10 % рынка, которые оставляет прочим участникам рынка компания Nvidia, основная часть приходится на долю AMD, а роль Intel в данном виде коммерческой деятельности вообще минимальна. К слову, данное упущение не осталось без внимания нового генерального директора Intel Лип-Бу Тана (Lip-Bu Tan), и он пообещал укреплять позиции компании в сегменте ускорителей для систем ИИ.

По данным Financial Times, компания Intel уже уведомила своих китайских клиентов о необходимости получить экспортную лицензию на поставку в КНР своих ускорителей вычислений, обладающих уровнем быстродействия выше заявленных властями США пределов. Так, для пропускной способности памяти установлен порог в 1400 Гбайт/с, для пропускной способности интерфейсов — 1100 Гбайт/с, при этом в совокупности эти величины не могут превышать 1700 Гбайт/с. Как и ускорители Nvidia H20, решения Intel семейства Gaudi заведомо попадают под ограничения.

Nvidia уже оценила свои возможные потери от новых санкций США в данной сфере в $5,5 млрд по итогам только первого квартала. По неофициальным данным, по итогам всего текущего года эти потери легко превысят $10 млрд. Компания AMD пока довольствуется более скромными оценками ущерба на уровне $800 млн, а Intel свои расчёты на эту тему пока не опубликовала. Упоминание о необходимости получить экспортные лицензии для поставки ускорителей в Китай является лишь формальностью. На практике у всех трёх компаний крайне мало шансов подобными лицензиями обзавестись.

Компания Stability AI, разработчик популярной модели генеративного ИИ Stable Diffusion, сравнила производительность модели Stable Diffusion 3 на популярных ускорителях вычислений для центров обработки данных, включая Nvidia H100 Hopper, A100 Ampere и Intel Gaudi2. По утверждению Stability AI, Intel Gaudi2 продемонстрировал производительность примерно на 56 % выше, чем Nvidia H100.

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Фитнес-браслет HUAWEI Band 10: настоящий металл

Пять причин полюбить HONOR Magic7 Pro

Пять причин полюбить HONOR Pad V9

Почему ИИ никак не сесть на безматричную диету

Пять причин полюбить HONOR X8c

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Источник изображения: Intel

В отличие от H100, который представляет собой суперскалярный графический процессор с тензорными CUDA-ядрами, Gaudi2 специально спроектирован для ускорения генеративного ИИ и больших языковых моделей (LLM). В тестах приняли участие пары кластеров, которые в сумме обеспечивали по 16 тех или ускорителей, а проводились тесты с постоянным размером батча (число тренировочных объектов) в 16 на каждый ускоритель (всего 256). Системы на Intel Gaudi2 оказались способны генерировать 927 изображений в секунду по сравнению с 595 изображениями для ускорителей H100 и 381 изображением в секунду для массива A100.

Источник изображения: Stability AI

При увеличении количества кластеров до 32, а числа ускорителей до 256 и размере батча 16 на ускоритель (общий размер 4096), массив Gaudi2 генерирует 12 654 изображения в секунду или 49,4 изображения в секунду на ускоритель, по сравнению с 3992 изображениями в секунду или 15,6 изображениями в секунду на устройство у массива A100 Ampere.

Источник изображения: Nvidia

Необходимо отметить, что производительность ускорителей ИИ измерялась с использованием фреймворка PyTorch, а в случае применения оптимизации TensorRT чипы A100 создают изображения до 40 % быстрее, чем Gaudi2. Тем не менее, исследователи Stability AI ожидают, что при дальнейшей оптимизации Gaudi2 превзойдёт A100. Компания полагает, что более быстрый интерконнект и больший объем памяти (96 Гбайт) делают решения Intel вполне конкурентоспособными и планирует использовать ускорители Gaudi2 в Stability Cloud.

Источник изображения: techpowerup.com

По сообщению Stability AI, в более ранних тестах модели Stable Diffusion XL с использованием фреймворка PyTorch ускоритель Intel Gaudi2 генерирует при 30 шагах изображение размером 1024 × 1024 за 3,2 секунды по сравнению с 3,6 секунды для PyTorch на Nvidia A100 и 2,7 секунды при использовании оптимизации TensorRT на Nvidia А100.