Ускорители вычислений Nvidia A100 нельзя назвать современными по меркам западных клиентов компании, поскольку они от самых актуальных новинок марки отстали уже на два поколения, но специфика китайского рынка позволяет местным конкурентам гордиться даже превосходством над такими решениями Nvidia, что и делает Huawei Technologies.

Источник изображения: Huawei Technologies

На мероприятии с амбициозным названием World Semiconductor Conference в китайском Нанкине операционный директор подразделения Huawei, отвечающего за продукты экосистемы Ascend и Kunpeng, привёл данные о превосходстве ускорителей Ascend 910B этой китайской марки над Nvidia A100 в ряде вычислительных тестов на величину до 20 %. При обучении больших языковых моделей китайские ускорители демонстрируют уровень эффективности, соответствующий 80 % от показателей Nvidia A100, по словам представителя Huawei. По его словам, нет большой разницы между использованием Nvidia A100 и Ascend 910B при обучении больших языковых моделей. Для местных клиентов это особенно актуально с учётом запрета властей США на поставку Nvidia A100 и более современных ускорителей американского происхождения в Китай.

В прошлом месяце представители Huawei заявили, что экосистема ускорителей Ascend уже охватывает 40 партнёров в сфере выпуска аппаратного обеспечения, 1600 партнёров в сфере разработки программного обеспечения и до 2900 приложений для работы с искусственным интеллектом. Среди крупных китайских клиентов Huawei в этой сфере упоминаются компании Tencent и Baidu, а также перспективные стартапы типа iFlyTek — все они уже приступили к закупкам ускорителей Ascend 910B. Вычислительные кластеры на базе таких ускорителей уже функционируют в 19 крупных городах КНР, в дальнейшем они появятся и в административных центрах крупных провинций.

Компания Stability AI, разработчик популярной модели генеративного ИИ Stable Diffusion, сравнила производительность модели Stable Diffusion 3 на популярных ускорителях вычислений для центров обработки данных, включая Nvidia H100 Hopper, A100 Ampere и Intel Gaudi2. По утверждению Stability AI, Intel Gaudi2 продемонстрировал производительность примерно на 56 % выше, чем Nvidia H100.

Источник изображения: Intel

В отличие от H100, который представляет собой суперскалярный графический процессор с тензорными CUDA-ядрами, Gaudi2 специально спроектирован для ускорения генеративного ИИ и больших языковых моделей (LLM). В тестах приняли участие пары кластеров, которые в сумме обеспечивали по 16 тех или ускорителей, а проводились тесты с постоянным размером батча (число тренировочных объектов) в 16 на каждый ускоритель (всего 256). Системы на Intel Gaudi2 оказались способны генерировать 927 изображений в секунду по сравнению с 595 изображениями для ускорителей H100 и 381 изображением в секунду для массива A100.

Источник изображения: Stability AI

При увеличении количества кластеров до 32, а числа ускорителей до 256 и размере батча 16 на ускоритель (общий размер 4096), массив Gaudi2 генерирует 12 654 изображения в секунду или 49,4 изображения в секунду на ускоритель, по сравнению с 3992 изображениями в секунду или 15,6 изображениями в секунду на устройство у массива A100 Ampere.

Источник изображения: Nvidia

Необходимо отметить, что производительность ускорителей ИИ измерялась с использованием фреймворка PyTorch, а в случае применения оптимизации TensorRT чипы A100 создают изображения до 40 % быстрее, чем Gaudi2. Тем не менее, исследователи Stability AI ожидают, что при дальнейшей оптимизации Gaudi2 превзойдёт A100. Компания полагает, что более быстрый интерконнект и больший объем памяти (96 Гбайт) делают решения Intel вполне конкурентоспособными и планирует использовать ускорители Gaudi2 в Stability Cloud.

Источник изображения: techpowerup.com

По сообщению Stability AI, в более ранних тестах модели Stable Diffusion XL с использованием фреймворка PyTorch ускоритель Intel Gaudi2 генерирует при 30 шагах изображение размером 1024 × 1024 за 3,2 секунды по сравнению с 3,6 секунды для PyTorch на Nvidia A100 и 2,7 секунды при использовании оптимизации TensorRT на Nvidia А100.

В августе 2019 года китайская компания Huawei представила ускоритель вычислений Ascend 910, однако после введения санкций США компания TSMC не смогла выпускать для него чипы по 7-нм технологии. В прошлом году Huawei представила Ascend 910B, который был создан уже на «суверенном» 7-нм техпроцессе SMIC. Эксперты считают, что по уровню быстродействия он способен в чём-то превосходить NVIDIA A100.

Источник изображения: NVIDIA

Во всяком случае, на подобные оценки представителей SemiAnalysis ссылается издание South China Morning Post. Как утверждает Дилан Пател (Dylan Patel), теоретически Ascend 910B немного превосходит NVIDIA A100 при обработке вычислений, применяемых в системах искусственного интеллекта. Важен и тот факт, что чип Huawei производится компанией SMIC по 7-нм техпроцессу — самому современному из доступных китайским разработчикам.

В прошлом месяце глава и основатель NVIDIA Дженсен Хуанг (Jensen Huang) назвал Huawei «действительно очень хорошей компанией», признав, что она в своей деятельности ограничена доступом к передовым техпроцессам, но по-прежнему сохраняет возможность строить очень большие вычислительные системы, сочетая имеющиеся в её распоряжении чипы в больших количествах.

Опрошенные SCMP источники признались, что ускорители Huawei Ascend 910B доступны для заказа, но в ограниченных из-за высокого спроса количествах. Оснащённый восемью ускорителями такой модели сервер на китайском рынке стоит примерно $208 395, на одном уровне с аналогично оснащённой системой на базе NVIDIA A100, которая в условиях санкций может попадать на местный рынок только нелегально. Несомненным преимуществом решений NVIDIA остаётся развития экосистема разработки программного обеспечения. Huawei в этой сфере должна плотно работать с партнёрами, чтобы добиться сопоставимых успехов в развитии ПО.