Ажиотажный спрос на ускорители вычислений NVIDIA для систем искусственного интеллекта уже привёл к дефициту данного вида продукции, и старшая карта H100 с архитектурой Hopper востребована в такой степени, что все доступные объёмы таких ускорителей уже распределены до начала следующего года.

Источник изображения: NVIDIA

По крайней мере, уверенность в этом в интервью ресурсу Barron’s выразил технический директор стартапа CoreWeave Брайан Вентуро (Brian Venturo), поскольку приближённый к NVIDIA поставщик инфраструктурных решений для ускорения вычислений силами GPU имеет актуальное представление о положении дел на рынке. Как пояснил Брайан Вентуро, ещё в первом квартале текущего года с доступом к нужным объёмам ускорителей проблем не было, но в апреле всё резко изменилось. Сроки исполнения заказов растянулись до конца текущего года, и спрос неожиданно подскочил буквально за одну неделю. Ускорители теперь нужны не только крупным облачным провайдерам, но и исследовательским лабораториям, и крупным предприятиям, которые экспериментируют с внедрением систем искусственного интеллекта.

Как поясняет этот поставщик ускорителей, сейчас желающие получить самую производительную версию в исполнении NVIDIA, которая обозначается H100, вынуждены рассчитывать сроки поставки на первый или второй квартал следующего года. Непосредственно CoreWeave, инвестором которой является сама NVIDIA, сможет возобновить закупку ускорителей серии H100 не ранее второго или третьего квартала следующего года. По словам руководителя компании, решения NVIDIA в этой сфере востребованы в силу наличия развитой экосистемы для разработчиков, универсальности и сопутствующей инфраструктуры передачи информации в виде скоростных решений InfiniBand.

В конце прошлого года власти США запретили компании NVIDIA поставлять в Китай ускорители вычислений с уровнем быстродействия A100 и H100. В качестве ответа NVIDIA решила выпустить для Китая ускорители H800 и A800, являющиеся их менее производительными аналогами, а потому не подпадающими под санкционные ограничения.

Источник изображения: NVIDIA

Рост спроса на сложные нейронные языковые модели (LLM), такие как Generative Pre-trained Transformer (GPT), которые обучаются на больших наборах текстовых данных, чтобы генерировать текст, схожий с человеческим, привёл к повышению спроса и инвестициям в ускорители вычислений, с помощью которых эти модели обучаются.

Как сообщает издание MyDrivers, ускоритель вычислений A800 для китайского рынка обеспечивает 70 % производительности обычного A100. Последний демонстрирует 9,7 Тфлопс в операциях FP64, 19,5 Тфлопс в задачах FP64 с использованием тензорных ядер и до 624 Тфлопс в смешанных задачах FP16 и BF16. Таким образом, при сниженной на 30 % производительности ускорители A800 показывают 6,8 Тфлопс в задачах FP64, 13,7 Тфлопс в операциях FP64 с использованием тензорных ядер и 437 Тфлопс в смешанных задачах FP16 и BF16.

По данным MyDrivers, стоимость NVIDIA A800 в Китае достигает 100 тыс. юаней, что примерно равно 14 462 долларам. Однако это не самый быстрый из доступных для китайского рынка ускоритель NVIDIA. Ведь есть ещё модель H800, позиционируемая классом выше. Правда, более подробных данных о его производительности издание не приводит.

Этой осенью американские власти запретили NVIDIA поставлять в Китай ускорители вычислений с уровнем быстродействия A100 и H100, хотя формально компания сохранила возможность делать это до марта 2023 года в первом случае, и до сентября во втором. Ответом на данные ограничения, по словам Reuters, стал выпуск компанией NVIDIA специально для нужд китайских клиентов нового ускорителя A800, который в полтора раза уступает по быстродействию A100, по этой причине не попадая под санкционные ограничения.

NVIDIA A100. Источник изображения: NVIDIA

Как отмечается, китайские поставщики серверного оборудования уже начали рекламировать системы на основе ускорителя A800, который может быть установлен вместо A100 или H100, но при этом поднять уровень быстродействия такого ускорителя сами клиенты за счёт каких-либо манипуляций не смогут. По словам представителей NVIDIA, выпуском A800 компания занялась в третьем квартале, и этот ускоритель является «законной» альтернативой A100 для клиентов в Китае. Согласованы ли данные шаги с американскими регуляторами, не уточняется.

На сайте китайских производителей серверного оборудования A800 уже сравнивается по характеристикам с A100, и скорость передачи информации у него снижена с 600 до 400 Гбайт/с. Таким образом, до «санкционной» планки в 600 Гбайт/с остаётся полуторакратный запас, что и даёт NVIDIA право поставлять ускорители A800 в Китай. Когда соответствующие ограничения были объявлены в сентябре, NVIDIA прогнозировала, что может потерять из-за них до $400 млн выручки. В таких условиях создание особого ускорителя для китайского рынка оправдывает себя с материальной точки зрения.

Ещё накануне агентство Bloomberg с уверенностью сообщало, что вычислительные способности ускорителей Biren BR100 одноимённой китайской компании чуть хуже NVIDIA A100, а потому американские санкции не помешают их дальнейшему производству. Сегодня источник резко сменил риторику, заявив о принятом TSMC решении приостановить отгрузку этих 7-нм ускорителей китайскому заказчику.

Источник изображения: Biren Technology

Ещё летом Biren Technology не стеснялась заявлять, что разработанный ею ускоритель BR100 способен бросить вызов NVIDIA A100. Характеристики китайской новинки действительно внушали уважение: 77 млрд транзисторов, 7-нм техпроцесс производства и пространственная компоновка 2.5D CoWoS, наличие на борту 64 Гбайт памяти, поддержка интерфейсов PCI Express 5.0 и CXL. Впрочем, когда речь зашла о новой волне антикитайских санкций, представители Biren на условиях анонимности предпочли заявить, что до уровня NVIDIA A100 их детище не дотягивает, а потому не попадает под действие новых экспортных ограничений.

Сегодня стало известно, как сообщает Bloomberg, что TSMC не стала рисковать и приостановила выпуск 7-нм ускорителей вычислений Biren Technology. При этом тайваньский подрядчик так и не пришёл к окончательному выводу о принадлежности продукции Biren к запрещённой категории изделий, но поставки будут прекращены «на всякий случай». Ускорители Biren предназначены для работы в системах машинного зрения, обработки естественной речи и её синтеза с использованием искусственного интеллекта. Представители китайской компании данные новости пока никак не прокомментировали, по словам Bloomberg.

Последний день календарного лета принёс китайским и российским клиентам AMD и NVIDIA неприятную новость. Власти США запретили обеим компаниям поставлять в указанные страны ускорители вычислений на базе GPU, соответствующие определённым критериям производительности. В случае с NVIDIA речь идёт об изделиях серий A100 и H100, а компания AMD отнесла к перечню «санкционных» ускорители Instinct MI250.

Источник изображения: AMD

По мнению представителей AMD, как поясняет Reuters, под запрет не попали поставки ускорителей Instinct MI100. При этом в AMD считают, что новые ограничения не окажут существенного влияния на бизнес компании, поскольку торговые обороты на этом направлении не были достаточно велики. Акции NVIDIA на фоне этих новостей потеряли в цене более 6 %, в случае с AMD снижение не превысило 3,8 %. Считается, что за уровень производительности, определяющий необходимость запрета на поставки ускорителя в Китай и Россию, взято быстродействие решения NVIDIA A100 с архитектурой Ampere.

По замыслу американских чиновников, передовые компоненты американского происхождения не должны использоваться китайскими и российскими клиентами для совершенствования военных технологий. Ускорители вычислений AMD и NVIDIA, попавшие под запрет, теоретически могут использоваться в системах распознавания речи для прослушивания переговоров и распознавания военных объектов на снимках местности, получаемых с разведывательных спутников.

Китайская компания Biren Technology представила графический процессор BR100, обеспечивающий производительность до 1024 Тфлопс в 16-битных операциях с плавающей точкой и до 2048 Тфлопс в 8-битных целочисленных операциях. Решение предназначено для использования в составе специализированных высокопроизводительных вычислительных систем (HPC).

Источник изображений: Biren Technology

Графический процессор BR100 — это флагманское решение компании, использующее 7-нм техпроцесс производства и технологию 2,5D-упаковки CoWoS компании TSMC. Чип использует архитектуру BiLiren и имеет на борту 77 млрд транзисторов.

Решения на его основе могут предложить до 64 Гбайт высокоскоростной памяти HBM2e с максимальной пропускной способностью на уровне 2,3 Тбайт/с, а также 300 Мбайт выделенной кеш-памяти. Для GPGPU заявляется поддержка интерфейсов PCIe 5.0 и CXL.

Производительность BR100 выше, чем у NVIDIA Ampere A100, но примерно в 2,0–2,5 раз ниже, чем у решений на базе архитектуры NVIDIA Hopper. Максимальное превосходство над NVIDIA Ampere заявляется при работе с 32-битными числами с плавающей точкой — в этом случае BR100 может предложить производительность на уровне 256 Тфлопс против 19,5 Тфлопс у решения NVIDIA.

Помимо BR100 китайская компания представила также графический чип BR104. Он предлагает урезанные вдвое характеристики и примерно вдвое меньшую по сравнению с BR100 производительность, и может использоваться в составе карт расширения формата PCIe с показателем энергопотребления до 300 Вт.

Для своих продуктов Biren Technology также представила программную платформу BIRENSUPA. Она поддерживает различные популярные фреймворки для машинного обучения, например, PaddlePaddle от Baidu.