Активность «контрабандистов», стремящихся насытить китайский рынок новейшими ускорителями вычислений Nvidia, не способна сделать это в полной мере, поэтому внутри страны получил развитие бизнес по ремонту ранее ввезённого серверного оборудования. Количество компаний, оказывающих подобные услуги, превышает в Китае десять штук.

Пять причин полюбить HONOR 400

Обзор смартфона HONOR 400: реаниматор

Обзор ноутбука Acer Swift Go 14 (SFG14-63-R7T4) с процессором Ryzen 9 8945HS и OLED-экраном

Обзор смартфона HUAWEI Pura 80 Ultra: зум, которому нет равных

HUAWEI Pura 80 Ultra глазами фотографа

Обзор рейтингового режима Warface: просто освоиться, сложно оторваться

Источник изображения: Nvidia

По крайней мере, Reuters ссылается на опыт двух таких компаний, действующих в районе Шэньчжэня, которые специализируются на ремонте ускорителей Nvidia H100 и A100, попавших на территорию Китая тем или иным способом. По большому счёту, специалисты берутся за ремонт и многих других ускорителей, ввезти которые в Китай по легальным каналам не представляется возможным.

Если ускорители A100 с архитектурой Ampere успели попасть в Китай по официальным каналам, прежде чем попали под запрет, то более совершенные H100 в КНР легально вообще не поставлялись, поскольку ещё до начала отгрузок попали под экспортные ограничения США в сентябре 2022 года. Одна из китайских компаний, о которых идёт речь, около 15 лет специализировалась на ремонте игровых видеокарт Nvidia, прежде чем в конце 2024 года решила заняться восстановлением работоспособности ускорителей вычислений той же марки.

Ежемесячно компания способна восстанавливать по 500 ускорителей Nvidia, она обладает собственным центром обработки данных, в котором прошедшие через процедуру ремонта ускорители «обкатываются» в условиях, приближённых к реальным. Сама Nvidia не может предоставлять официальные услуги по гарантийному ремонту своего оборудования на территории КНР в силу наличия соответствующих санкций. Официальная политика компании подразумевает, что в течение трёх первых лет эксплуатации дефектные ускорители просто меняются на новые. Поскольку пользователи нелегально ввезённых в Китай ускорителей Nvidia не могут претендовать на гарантийное обслуживание, эту рыночную нишу заняли местные предприниматели.

Не все китайские разработчики готовы использовать ускорители Nvidia H20, ввоз которых в страну был недавно разрешён властями США, поэтому спрос на ремонт более производительных H100 сохранится, как отмечают источники. В зависимости от условий эксплуатации, среднестатистический ускоритель вычислений Nvidia требует ремонта каждые два года или пять лет. Услуга по ремонту каждого в Китае обходится заказчику в сумму от $1400 до $2800, но затраты всё равно себя оправдывают на фоне дефицита ускорителей и их высокой начальной стоимости. Некоторые профильные компании установили тариф в 10 % от начальной цены ускорителя за услугу по его ремонту.

Ускорители вычислений Nvidia A100 нельзя назвать современными по меркам западных клиентов компании, поскольку они от самых актуальных новинок марки отстали уже на два поколения, но специфика китайского рынка позволяет местным конкурентам гордиться даже превосходством над такими решениями Nvidia, что и делает Huawei Technologies.

Пять причин полюбить HONOR 400

Обзор смартфона HUAWEI Pura 80 Ultra: зум, которому нет равных

Обзор ноутбука Acer Swift Go 14 (SFG14-63-R7T4) с процессором Ryzen 9 8945HS и OLED-экраном

HUAWEI Pura 80 Ultra глазами фотографа

Обзор смартфона HONOR 400: реаниматор

Обзор рейтингового режима Warface: просто освоиться, сложно оторваться

Источник изображения: Huawei Technologies

На мероприятии с амбициозным названием World Semiconductor Conference в китайском Нанкине операционный директор подразделения Huawei, отвечающего за продукты экосистемы Ascend и Kunpeng, привёл данные о превосходстве ускорителей Ascend 910B этой китайской марки над Nvidia A100 в ряде вычислительных тестов на величину до 20 %. При обучении больших языковых моделей китайские ускорители демонстрируют уровень эффективности, соответствующий 80 % от показателей Nvidia A100, по словам представителя Huawei. По его словам, нет большой разницы между использованием Nvidia A100 и Ascend 910B при обучении больших языковых моделей. Для местных клиентов это особенно актуально с учётом запрета властей США на поставку Nvidia A100 и более современных ускорителей американского происхождения в Китай.

В прошлом месяце представители Huawei заявили, что экосистема ускорителей Ascend уже охватывает 40 партнёров в сфере выпуска аппаратного обеспечения, 1600 партнёров в сфере разработки программного обеспечения и до 2900 приложений для работы с искусственным интеллектом. Среди крупных китайских клиентов Huawei в этой сфере упоминаются компании Tencent и Baidu, а также перспективные стартапы типа iFlyTek — все они уже приступили к закупкам ускорителей Ascend 910B. Вычислительные кластеры на базе таких ускорителей уже функционируют в 19 крупных городах КНР, в дальнейшем они появятся и в административных центрах крупных провинций.

Компания Stability AI, разработчик популярной модели генеративного ИИ Stable Diffusion, сравнила производительность модели Stable Diffusion 3 на популярных ускорителях вычислений для центров обработки данных, включая Nvidia H100 Hopper, A100 Ampere и Intel Gaudi2. По утверждению Stability AI, Intel Gaudi2 продемонстрировал производительность примерно на 56 % выше, чем Nvidia H100.

Обзор рейтингового режима Warface: просто освоиться, сложно оторваться

Обзор смартфона HUAWEI Pura 80 Ultra: зум, которому нет равных

HUAWEI Pura 80 Ultra глазами фотографа

Пять причин полюбить HONOR 400

Обзор ноутбука Acer Swift Go 14 (SFG14-63-R7T4) с процессором Ryzen 9 8945HS и OLED-экраном

Обзор смартфона HONOR 400: реаниматор

Источник изображения: Intel

В отличие от H100, который представляет собой суперскалярный графический процессор с тензорными CUDA-ядрами, Gaudi2 специально спроектирован для ускорения генеративного ИИ и больших языковых моделей (LLM). В тестах приняли участие пары кластеров, которые в сумме обеспечивали по 16 тех или ускорителей, а проводились тесты с постоянным размером батча (число тренировочных объектов) в 16 на каждый ускоритель (всего 256). Системы на Intel Gaudi2 оказались способны генерировать 927 изображений в секунду по сравнению с 595 изображениями для ускорителей H100 и 381 изображением в секунду для массива A100.

Источник изображения: Stability AI

При увеличении количества кластеров до 32, а числа ускорителей до 256 и размере батча 16 на ускоритель (общий размер 4096), массив Gaudi2 генерирует 12 654 изображения в секунду или 49,4 изображения в секунду на ускоритель, по сравнению с 3992 изображениями в секунду или 15,6 изображениями в секунду на устройство у массива A100 Ampere.

Источник изображения: Nvidia

Необходимо отметить, что производительность ускорителей ИИ измерялась с использованием фреймворка PyTorch, а в случае применения оптимизации TensorRT чипы A100 создают изображения до 40 % быстрее, чем Gaudi2. Тем не менее, исследователи Stability AI ожидают, что при дальнейшей оптимизации Gaudi2 превзойдёт A100. Компания полагает, что более быстрый интерконнект и больший объем памяти (96 Гбайт) делают решения Intel вполне конкурентоспособными и планирует использовать ускорители Gaudi2 в Stability Cloud.

Источник изображения: techpowerup.com

По сообщению Stability AI, в более ранних тестах модели Stable Diffusion XL с использованием фреймворка PyTorch ускоритель Intel Gaudi2 генерирует при 30 шагах изображение размером 1024 × 1024 за 3,2 секунды по сравнению с 3,6 секунды для PyTorch на Nvidia A100 и 2,7 секунды при использовании оптимизации TensorRT на Nvidia А100.

В августе 2019 года китайская компания Huawei представила ускоритель вычислений Ascend 910, однако после введения санкций США компания TSMC не смогла выпускать для него чипы по 7-нм технологии. В прошлом году Huawei представила Ascend 910B, который был создан уже на «суверенном» 7-нм техпроцессе SMIC. Эксперты считают, что по уровню быстродействия он способен в чём-то превосходить NVIDIA A100.

Обзор смартфона HUAWEI Pura 80 Ultra: зум, которому нет равных

Обзор ноутбука Acer Swift Go 14 (SFG14-63-R7T4) с процессором Ryzen 9 8945HS и OLED-экраном

Пять причин полюбить HONOR 400

HUAWEI Pura 80 Ultra глазами фотографа

Обзор смартфона HONOR 400: реаниматор

Обзор рейтингового режима Warface: просто освоиться, сложно оторваться

Источник изображения: NVIDIA

Во всяком случае, на подобные оценки представителей SemiAnalysis ссылается издание South China Morning Post. Как утверждает Дилан Пател (Dylan Patel), теоретически Ascend 910B немного превосходит NVIDIA A100 при обработке вычислений, применяемых в системах искусственного интеллекта. Важен и тот факт, что чип Huawei производится компанией SMIC по 7-нм техпроцессу — самому современному из доступных китайским разработчикам.

В прошлом месяце глава и основатель NVIDIA Дженсен Хуанг (Jensen Huang) назвал Huawei «действительно очень хорошей компанией», признав, что она в своей деятельности ограничена доступом к передовым техпроцессам, но по-прежнему сохраняет возможность строить очень большие вычислительные системы, сочетая имеющиеся в её распоряжении чипы в больших количествах.

Опрошенные SCMP источники признались, что ускорители Huawei Ascend 910B доступны для заказа, но в ограниченных из-за высокого спроса количествах. Оснащённый восемью ускорителями такой модели сервер на китайском рынке стоит примерно $208 395, на одном уровне с аналогично оснащённой системой на базе NVIDIA A100, которая в условиях санкций может попадать на местный рынок только нелегально. Несомненным преимуществом решений NVIDIA остаётся развития экосистема разработки программного обеспечения. Huawei в этой сфере должна плотно работать с партнёрами, чтобы добиться сопоставимых успехов в развитии ПО.