Nvidia ещё предстоит доказать, что она способна разрабатывать конкурентоспособные серверные процессоры, но состоявшийся игрок в лице AMD уже продемонстрировал, что воспринимает Arm-процессор Nvidia Grace Hopper Superchip серьёзно. Компания сравнила свои чипы EPYC с платформой Nvidia Grace и заявила о двухкратном преимуществе собственного продукта. Публикацию, конечно, следует воспринимать с некоторой долей скепсиса, но она даёт некоторое представление о Nvidia Grace.

Источник изображений: amd.com

Согласно проведённым AMD тестам, её процессоры EPYC 9754 (128 ядер) и 9654 (96 ядер) более чем вдвое превосходят 144-ядерный Nvidia Grace Superchip (он включает два 72-ядерных CPU Grace) по производительности в различных рабочих нагрузках, включая вычисления общего назначения, Java, транзакционные базы данных, системы поддержки принятия решений, веб-серверы, аналитику, кодирование видео и высокопроизводительные вычисления (HPC). Так, в тесте SPECpower_ssj2008 одно- и двухсокетные системы на AMD EPYC 9754 превзошли Nvidia Grace примерно в 2,50 и 2,75 раза соответственно, а двухсокетный сервер на AMD EPYC 9654 оказался быстрее аналога от Nvidia примерно в 2,27 раза.

Процессоры EPYC, уверяют в AMD, удерживают более 300 мировых рекордов как по производительности, так и по эффективности в различных тестах, включая бизнес-приложения, технические вычисления, управление данными, аналитику данных, цифровые службы, медиа и развлечения, а также инфраструктурные решения. Но следует учесть, что чипы Nvidia Grace Hopper предназначены для рабочих нагрузок, связанных с обучением и запуском систем искусственного интеллекта.

Процессоры AMD EPYC построены на архитектуре x86, что означает совместимость с широким ассортиментом ПО, а Nvidia Grace имеют архитектуру Arm, которая пока распространена меньше. AMD указывает, что с учётом высоких производительности, энергоэффективности и совместимости с существующим ПО чипы EPYC предлагают более низкую совокупную стоимость владения (Total Cost of Ownership — TCO), чем Nvidia Grace, но не упоминают, что в задачах, связанных с обучением и работой ИИ платформа «зелёных» может и сама предложить значительные преимущества относительно ускорителей AMD Instinct.

Формально объединяющий на одной плате ускоритель NVIDIA GH200 предназначается для серверного применения, но в интернет-магазине GPTshop можно приобрести рабочую станцию на его основе, которая использует операционную систему Ubuntu. Экзотическая рабочая станция оценивается минимум в $41 500, поскольку подобные ускорители сами по себе являются дорогостоящими компонентами.

Источник изображений: GPTshop

Напомним, что ускоритель GH200 сочетает центральный процессор Grace с архитектурой Arm с 72 ядрами, он поддерживает до 480 Гбайт памяти типа LPDDR5X. По соседству на плате расположился графический процессор H200, который имеет площадь кристалла 814 мм² и содержит 16 896 ядер CUDA, используемых для ускорения вычислений. Указанный интернет-магазин позволяет выбирать между модификацией ускорителя как с памятью HBM3, так и более новой версией с памятью типа HBM3E, которая ещё и предлагается в большем объёме.

Судя по фотографиям рабочей станции, сделанным в интерьере частного дома, система охлаждения этого необычного вычислительного решения строится на вентиляторах Noctua, которые напиханы буквально во все доступные посадочные места. В качестве опций рабочую станцию можно оснастить сетевыми платами Bluefield-3 и ConnectX-7, твердотельными накопителями объёмом до 8 Тбайт, а также жёсткими дисками объёмом до 30 Тбайт. Внутри системного блока может прописаться даже видеокарта GeForce RTX 4060, если пользователю потребуется работать с графикой на более серьёзном уровне. Впрочем, поскольку в качестве операционной системы может использоваться только Ubuntu, рассчитывать на игровое применение такой рабочей станции просто бессмысленно, учитывая концентрацию вычислительных ресурсов именно на стороне NVIDIA GH200.

В принципе, для определённых условий покупка такой рабочей станции примерно за $50 000 может считаться выгодной сделкой, если учесть, что ускоритель NVIDIA H100 предыдущего поколения сам по себе стоит $40 000. Клиенты GPTshop за чуть большие деньги просто получают готовую систему с более высокой производительностью.

Компания NVIDIA в рамках конференции SIGGRAPH 2023 представила вычислительную платформу GH200 Grace Hopper SuperChip нового поколения, представляющую собой двухчиповую систему из центрального и графического процессоров. Она послужит для построения НРС-систем и ИИ-платформ. В её основе используется новое поколение суперчипа NVIDIA Grace, оснащённого набортной высокопроизводительной памятью HBM3e, обеспечивающей доступ к информации со скоростью 5 Тбайт/с.

Источник изображения: NVIDIA

По словам NVIDIA, платформа GH200 Grace Hopper SuperChip нового поколения значительно превосходит по производительности своего предшественника. Один сервер на платформе GH200 Grace Hopper с двумя новыми суперчипами (то есть с двумя парами GPU+CPU) сможет предложить наличие 144 ядер Arm Neoverse, работающих в тандеме с 282 Гбайт передовой набортной высокопроизводительной памяти HBM3e. Такая конфигурация обеспечивает в 3,5 раза больше памяти и в три раза больше пропускной способности, чем предшественник. Производительность подобной платформы с парой суперчипов составляет 8 петафлопс.

«Для удовлетворения растущего спроса на генеративный ИИ центрам обработки данных требуются вычислительные платформы с особыми возможностями. Этот вопрос готова решить новая платформа GH200 Grace Hopper SuperChip, в которой применяется технология набортной памяти HBM3e с повышенной пропускной способностью. Она предлагает возможность объединения нескольких GPU для объединения производительности, а также позволяет создавать серверные системы, которые можно легко развернуть в любом месте центра обработки данных», — прокомментировал глава NVIDIA Дженсен Хуанг (Jensen Huang).

Суперчип Grace Hopper, лежащий в основе новой платформы, может быть объединён с такими же суперчипами с помощью шины NVIDIA NVLink. Эта высокоскоростная технология предоставляет графическому процессору полный доступ к памяти центрального процессора, обеспечивая суммарно 1,2 Тбайт быстрой памяти в случае конфигурации с двумя суперчипами. Это позволяет развёртывать крупномасштабные вычислительных системы, необходимые для решения комплексных задач, связанных с генеративными ИИ.

Память стандарта HBM3e, использующаяся в составе платформы GH200 Grace Hopper SuperChip нового поколения, обладает на 50 % более высокой производительностью по сравнению с HBM3 и обеспечивает совокупную пропускную способность на уровне 10 Тбайт/с в системе с несколькими платформами GH200 Grace Hopper SuperChip. Это позволяет платформе запускать в 3,5 раза более крупные ИИ-модели и обеспечивает значительный прирост общей производительности за счёт увеличенной в три раза пропускной способности памяти по сравнению с предшественником.

В NVIDIA отмечают, что на фоне растущего спроса на платформу Grace Hopper ведущие производители уже начали предлагать системы, построенные на базе суперчипа Grace Hopper. Новая платформа Grace Hopper SuperChip следующего поколения с памятью HBM3e полностью совместима со спецификациями серверной модульной архитектуры NVIDIA MGX, которая была представлена на выставке Computex 2023. Такая совместимость гарантирует, что любой производитель серверных решений сможет быстро и с минимальными затратами интегрировать Grace Hopper в более чем 100 вариантов серверов, представленных на рынке.

Внедрние новой платформы NVIDIA ведущими производителями серверных систем начнётся во втором квартале 2024 года.