Несмотря на экспортные ограничения, введённые Вашингтоном, передовые чипы Nvidia для искусственного интеллекта, такие как A100 и H100, легко попадают на китайский рынок и доступны по более низким ценам, чем в США. Расследование Financial Times показало, что небольшие китайские облачные провайдеры предлагают аренду серверов с восемью Nvidia A100 примерно за $6/час, в то время как аналогичные услуги в США стоят около $10/час и более.

Источник изображения: Mariia Shalabaieva/Unsplash

Низкие цены на аренду серверов указывают на обилие чипов Nvidia на китайском рынке и на способы обхода американских ограничений, направленных на предотвращение доступа к передовым технологиям. Чипы A100 и H100 являются на сегодня самыми мощными ускорителями ИИ, используемыми для обучения больших языковых моделей (LLM), и несмотря на запрет экспорта A100 в Китай и отсутствие разрешения на продажу H100, чипы остаются доступными для местных стартапов и реселлеров.

Одновременно крупные китайские облачные операторы, такие как Alibaba и ByteDance, предлагают аренду серверов с чипами Nvidia по ценам, в два-три раза превышающим расценки мелких провайдеров. После применения скидок, цены всё равно сопоставимы с ценами Amazon Web Services (AWS), которые варьируются от $15 до $32 за час. Как отметил один из основателей стартапа, «большие игроки вынуждены заботиться о соблюдении норм, и поэтому находятся в невыгодном положении, так как не могут использовать контрабандные чипы».

По оценкам экспертов, в Китае находится более 100 тыс. Nvidia H100. Относительно небольшой размер чипов упрощает их контрабанду через границы, подрывая усилия Вашингтона по сдерживанию развития ИИ в Китае. Глава небольшой китайской облачной компании отметил, что низкие внутренние издержки помогают компенсировать более высокие цены, которые провайдеры платят за контрабанду. «Инженеры дешёвые и электроэнергия дешёвая…», — пояснил он.

Nvidia утверждает, что продаёт чипы «прежде всего официальным партнёрам», гарантируя, что все продажи соответствуют правилам экспортного контроля США. Компания признаёт наличие рынка подержанных ускорителей, но обещает принимать меры в случае выявления нарушений экспортного контроля.

В целом эксперты сомневаются в эффективности американских санкций за пределами США, так как схемы обхода ограничений включают создание подставных компаний в третьих странах, что затрудняет отслеживание конечного получателя. «Трудно полностью обеспечить соблюдение экспортного контроля за пределами границы США», — цитирует Financial Times слова американского эксперта по санкциям. Таким образом, пока Вашингтон пытается ограничить доступ Китая к передовым технологиям, китайские компании продолжают извлекать выгоду из чипов Nvidia.

Ускорители вычислений Nvidia A100 нельзя назвать современными по меркам западных клиентов компании, поскольку они от самых актуальных новинок марки отстали уже на два поколения, но специфика китайского рынка позволяет местным конкурентам гордиться даже превосходством над такими решениями Nvidia, что и делает Huawei Technologies.

Источник изображения: Huawei Technologies

На мероприятии с амбициозным названием World Semiconductor Conference в китайском Нанкине операционный директор подразделения Huawei, отвечающего за продукты экосистемы Ascend и Kunpeng, привёл данные о превосходстве ускорителей Ascend 910B этой китайской марки над Nvidia A100 в ряде вычислительных тестов на величину до 20 %. При обучении больших языковых моделей китайские ускорители демонстрируют уровень эффективности, соответствующий 80 % от показателей Nvidia A100, по словам представителя Huawei. По его словам, нет большой разницы между использованием Nvidia A100 и Ascend 910B при обучении больших языковых моделей. Для местных клиентов это особенно актуально с учётом запрета властей США на поставку Nvidia A100 и более современных ускорителей американского происхождения в Китай.

В прошлом месяце представители Huawei заявили, что экосистема ускорителей Ascend уже охватывает 40 партнёров в сфере выпуска аппаратного обеспечения, 1600 партнёров в сфере разработки программного обеспечения и до 2900 приложений для работы с искусственным интеллектом. Среди крупных китайских клиентов Huawei в этой сфере упоминаются компании Tencent и Baidu, а также перспективные стартапы типа iFlyTek — все они уже приступили к закупкам ускорителей Ascend 910B. Вычислительные кластеры на базе таких ускорителей уже функционируют в 19 крупных городах КНР, в дальнейшем они появятся и в административных центрах крупных провинций.

Компания Stability AI, разработчик популярной модели генеративного ИИ Stable Diffusion, сравнила производительность модели Stable Diffusion 3 на популярных ускорителях вычислений для центров обработки данных, включая Nvidia H100 Hopper, A100 Ampere и Intel Gaudi2. По утверждению Stability AI, Intel Gaudi2 продемонстрировал производительность примерно на 56 % выше, чем Nvidia H100.

Источник изображения: Intel

В отличие от H100, который представляет собой суперскалярный графический процессор с тензорными CUDA-ядрами, Gaudi2 специально спроектирован для ускорения генеративного ИИ и больших языковых моделей (LLM). В тестах приняли участие пары кластеров, которые в сумме обеспечивали по 16 тех или ускорителей, а проводились тесты с постоянным размером батча (число тренировочных объектов) в 16 на каждый ускоритель (всего 256). Системы на Intel Gaudi2 оказались способны генерировать 927 изображений в секунду по сравнению с 595 изображениями для ускорителей H100 и 381 изображением в секунду для массива A100.

Источник изображения: Stability AI

При увеличении количества кластеров до 32, а числа ускорителей до 256 и размере батча 16 на ускоритель (общий размер 4096), массив Gaudi2 генерирует 12 654 изображения в секунду или 49,4 изображения в секунду на ускоритель, по сравнению с 3992 изображениями в секунду или 15,6 изображениями в секунду на устройство у массива A100 Ampere.

Источник изображения: Nvidia

Необходимо отметить, что производительность ускорителей ИИ измерялась с использованием фреймворка PyTorch, а в случае применения оптимизации TensorRT чипы A100 создают изображения до 40 % быстрее, чем Gaudi2. Тем не менее, исследователи Stability AI ожидают, что при дальнейшей оптимизации Gaudi2 превзойдёт A100. Компания полагает, что более быстрый интерконнект и больший объем памяти (96 Гбайт) делают решения Intel вполне конкурентоспособными и планирует использовать ускорители Gaudi2 в Stability Cloud.

Источник изображения: techpowerup.com

По сообщению Stability AI, в более ранних тестах модели Stable Diffusion XL с использованием фреймворка PyTorch ускоритель Intel Gaudi2 генерирует при 30 шагах изображение размером 1024 × 1024 за 3,2 секунды по сравнению с 3,6 секунды для PyTorch на Nvidia A100 и 2,7 секунды при использовании оптимизации TensorRT на Nvidia А100.

В августе 2019 года китайская компания Huawei представила ускоритель вычислений Ascend 910, однако после введения санкций США компания TSMC не смогла выпускать для него чипы по 7-нм технологии. В прошлом году Huawei представила Ascend 910B, который был создан уже на «суверенном» 7-нм техпроцессе SMIC. Эксперты считают, что по уровню быстродействия он способен в чём-то превосходить NVIDIA A100.

Источник изображения: NVIDIA

Во всяком случае, на подобные оценки представителей SemiAnalysis ссылается издание South China Morning Post. Как утверждает Дилан Пател (Dylan Patel), теоретически Ascend 910B немного превосходит NVIDIA A100 при обработке вычислений, применяемых в системах искусственного интеллекта. Важен и тот факт, что чип Huawei производится компанией SMIC по 7-нм техпроцессу — самому современному из доступных китайским разработчикам.

В прошлом месяце глава и основатель NVIDIA Дженсен Хуанг (Jensen Huang) назвал Huawei «действительно очень хорошей компанией», признав, что она в своей деятельности ограничена доступом к передовым техпроцессам, но по-прежнему сохраняет возможность строить очень большие вычислительные системы, сочетая имеющиеся в её распоряжении чипы в больших количествах.

Опрошенные SCMP источники признались, что ускорители Huawei Ascend 910B доступны для заказа, но в ограниченных из-за высокого спроса количествах. Оснащённый восемью ускорителями такой модели сервер на китайском рынке стоит примерно $208 395, на одном уровне с аналогично оснащённой системой на базе NVIDIA A100, которая в условиях санкций может попадать на местный рынок только нелегально. Несомненным преимуществом решений NVIDIA остаётся развития экосистема разработки программного обеспечения. Huawei в этой сфере должна плотно работать с партнёрами, чтобы добиться сопоставимых успехов в развитии ПО.

Слухи о намерениях властей США с первого июля ограничить экспорт любых ускорителей вычислений в Китай без наличия специальной лицензии попали на благодатную почву для биржевых спекуляций. Перед открытием торгов в США курс акций NVIDIA более чем на 3 % отставал от вчерашней отметки, а представители Bank of America вообще заявили, что компания в результате новых санкций может лишиться 7 % выручки.

Источник изображения: NVIDIA

Исходя из сценария, который предусматривает фактическое ограничение поставок в Китай специально созданных в условиях прошлогодних санкций ускорителей H800 и A800, аналитики Bank of America смоделировали снижение выручки NVIDIA в сегменте центров обработки данных на 10 %, а совокупная выручка компании в результате должна сократиться на 7 %. Как считают эксперты, подобная ситуация для NVIDIA является хоть и нежелательной, но в целом управляемой. По крайней мере, в результате введения санкций осенью прошлого года она предложила клиентам соответствующие экспортным ограничениям США ускорители H800 и A800.

Когда первая волна профильных санкций была введена осенью прошлого года, курс акций NVIDIA снизился на 10 % в течение нескольких последовательных торговых сессий, но через десять недель с лихвой перекрыл эти значения после публикации компанией квартального отчёта. По итогам прошлого фискального года NVIDIA в Китае выручила $5,8 млрд, что соответствует 21,5 % годовой выручки компании. В долгосрочной перспективе, как считают представители Bank of America, компания сможет восстановить объёмы выручки на серверном направлении за счёт западных рынков. Аналитики даже предполагают, что NVIDIA решится понести некоторые затраты, чтобы переделать предназначенные для Китая ускорители H800 и A800 обратно в полноценные H100 и A100. Представители компании в момент появления первых упоминаний о H800 и A800 давали понять, что подобная трансформация силами клиентов невозможна технически.

В долгосрочной перспективе, как считает первоисточник, китайские клиенты смогут определять не более 10 % оборота мирового рынка компонентов, связанных с системами искусственного интеллекта, который достигнет $100 млрд.

Эксперты Citi оценили ёмкость мирового рынка компонентов для систем ИИ в $30 млрд по итогам текущего года, причём доля Китая на нём будет варьироваться от 5 до 10 %, непосредственно для NVIDIA возникающие из-за санкций потери будут поправимыми. Спрос на мировом рынке всё равно будет превышать возможности NVIDIA обеспечить всех клиентов необходимым количеством ускорителей, поэтому компания сможет перераспределить имеющиеся ресурсы. Сегодняшнюю торговую сессию акции NVIDIA открыли снижением курса почти на два процента.

С осени прошлого года ускорители вычислений NVIDIA A100 и H100 попали под экспортные ограничения США, в результате чего их стало невозможно купить в Китае по официальным каналам, а NVIDIA пришлось быстро наладить поставки в страну усечённых по производительности ускорителей A800 и H800, которые соответствуют экспортным ограничениям США. Практика показывает, что ускорители A100 и H100 всё равно можно приобрести в Китае, хотя и не на самых выгодных условиях.

Источник изображения: NVIDIA

Корреспондентам Reuters удалось побывать на крупном рынке электроники в китайском Шэньчжэне, и по итогам краткого опроса местных продавцов не менее десяти из них предложили потенциальным покупателям ускорители NVIDIA A100 по удвоенной до $20 000 за штуку цене. Кроме того, покупатель в Китае не может рассчитывать на единовременное получение крупной партии таких ускорителей, речь обычно идёт о поставке буквально нескольких экземпляров за раз.

Как поясняют участники цепочки поставок, на китайский рынок попавшие под санкции США ускорители NVIDIA продолжают поставляться либо через посредников в Индии, Сингапуре или на Тайване, либо по «серым» каналам из США, в случае, если какой-то из крупных клиентов NVIDIA просто выбросит на рынок «излишки» заказанных для собственных нужд ускорителей. Подчёркивается, что китайские продавцы не дают никакой гарантийной поддержки для реализуемых по такой схеме ускорителей вычислений.

Поставки ускорителей NVIDIA H100 начались только в марте, поэтому в Китае их найти достаточно сложно, и предложений пока мало. Запрещённые к реализации в КНР ускорители NVIDIA встречаются и на популярных в стране торговых интернет-площадках, но ситуацией нередко пользуются и мошенники, продающие откровенные подделки. По мнению аналитиков 86Research, власти США пока не сильно обеспокоены сохранением поставок ускорителей NVIDIA в Китай мелкими партиями, поскольку они стремятся отрезать к ним доступ для крупных разработчиков. Необходимость платить двойную цену за санкционную продукцию NVIDIA не будет сохраняться в Китае вечно, поскольку некоторое количество китайских стартапов будет вынуждено уйти с рынка, и спрос автоматически снизится.

В конце прошлого года власти США запретили компании NVIDIA поставлять в Китай ускорители вычислений с уровнем быстродействия A100 и H100. В качестве ответа NVIDIA решила выпустить для Китая ускорители H800 и A800, являющиеся их менее производительными аналогами, а потому не подпадающими под санкционные ограничения.

Источник изображения: NVIDIA

Рост спроса на сложные нейронные языковые модели (LLM), такие как Generative Pre-trained Transformer (GPT), которые обучаются на больших наборах текстовых данных, чтобы генерировать текст, схожий с человеческим, привёл к повышению спроса и инвестициям в ускорители вычислений, с помощью которых эти модели обучаются.

Как сообщает издание MyDrivers, ускоритель вычислений A800 для китайского рынка обеспечивает 70 % производительности обычного A100. Последний демонстрирует 9,7 Тфлопс в операциях FP64, 19,5 Тфлопс в задачах FP64 с использованием тензорных ядер и до 624 Тфлопс в смешанных задачах FP16 и BF16. Таким образом, при сниженной на 30 % производительности ускорители A800 показывают 6,8 Тфлопс в задачах FP64, 13,7 Тфлопс в операциях FP64 с использованием тензорных ядер и 437 Тфлопс в смешанных задачах FP16 и BF16.

По данным MyDrivers, стоимость NVIDIA A800 в Китае достигает 100 тыс. юаней, что примерно равно 14 462 долларам. Однако это не самый быстрый из доступных для китайского рынка ускоритель NVIDIA. Ведь есть ещё модель H800, позиционируемая классом выше. Правда, более подробных данных о его производительности издание не приводит.

В NVIDIA считают, что криптовалюты не приносят человечеству ничего полезного, хотя сама компания не так давно получала сверхприбыли от продажи чипов и видеокарт для майнингового сообщества. Главный технический директор NVIDIA Майкл Каган (Michael Kagan) заявил, что другие области применения вычислительной мощности, такие как чат-бот с искусственным интеллектом ChatGPT, являются гораздо более полезными.

Источник изображения: Kanchanara/unsplash.com

«Все эти криптовалютные продукты нуждались в параллельной обработке данных, и [NVIDIA] была лучшей, поэтому люди просто запрограммировали [GPU] для использования с данной целью. Накупили много всего, а потом в итоге наступил коллапс, потому что ничего полезного для общества это не несет. В отличие от ИИ», — сказал Каган ресурсу The Guardian. Он добавил, что никогда не верил, что криптовалюта может принести пользу человечеству.

Поначалу ставшая известной благодаря производству мощных видеокарт для новейших игр, NVIDIA со своей продукцией оказалась в самом центре бума искусственного интеллекта. Её мощные чипы позволили значительно ускорить процесс обучения новых систем искусственного интеллекта.

Две недели назад Microsoft рассказала, что ранее приобрела у NVIDIA десятки тысяч ускорителей A100, чтобы обеспечить работу ИИ-систем компании OpenAI, в том числе и ChatGPT. Также NVIDIA продала 20 000 ускорителей H100 компании Amazon для ее сервиса облачных вычислений AWS. Кроме того, 16 000 ускорителей H100 были проданы Oracle.

NVIDIA также предоставляет свои вычислительные мощности в аренду. Её сервис ИИ-супервычислений DGX Cloud предлагает за чуть менее $37 000 в месяц доступ к кластеру из восьми ускорителей H100.