Формально объединяющий на одной плате ускоритель NVIDIA GH200 предназначается для серверного применения, но в интернет-магазине GPTshop можно приобрести рабочую станцию на его основе, которая использует операционную систему Ubuntu. Экзотическая рабочая станция оценивается минимум в $41 500, поскольку подобные ускорители сами по себе являются дорогостоящими компонентами.

Источник изображений: GPTshop

Напомним, что ускоритель GH200 сочетает центральный процессор Grace с архитектурой Arm с 72 ядрами, он поддерживает до 480 Гбайт памяти типа LPDDR5X. По соседству на плате расположился графический процессор H200, который имеет площадь кристалла 814 мм² и содержит 16 896 ядер CUDA, используемых для ускорения вычислений. Указанный интернет-магазин позволяет выбирать между модификацией ускорителя как с памятью HBM3, так и более новой версией с памятью типа HBM3E, которая ещё и предлагается в большем объёме.

Судя по фотографиям рабочей станции, сделанным в интерьере частного дома, система охлаждения этого необычного вычислительного решения строится на вентиляторах Noctua, которые напиханы буквально во все доступные посадочные места. В качестве опций рабочую станцию можно оснастить сетевыми платами Bluefield-3 и ConnectX-7, твердотельными накопителями объёмом до 8 Тбайт, а также жёсткими дисками объёмом до 30 Тбайт. Внутри системного блока может прописаться даже видеокарта GeForce RTX 4060, если пользователю потребуется работать с графикой на более серьёзном уровне. Впрочем, поскольку в качестве операционной системы может использоваться только Ubuntu, рассчитывать на игровое применение такой рабочей станции просто бессмысленно, учитывая концентрацию вычислительных ресурсов именно на стороне NVIDIA GH200.

В принципе, для определённых условий покупка такой рабочей станции примерно за $50 000 может считаться выгодной сделкой, если учесть, что ускоритель NVIDIA H100 предыдущего поколения сам по себе стоит $40 000. Клиенты GPTshop за чуть большие деньги просто получают готовую систему с более высокой производительностью.

Финансовый директор NVIDIA Колетт Кресс (Colette Kress) на этой неделе успела принять участие сразу в двух тематических конференциях для инвесторов, и на мероприятии Wells Fargo её спросили, имеет ли смысл выпуск центрального процессора Grace для серверного сегмента, не оснащаемого GPU-компаньоном. На этот вопрос представительница NVIDIA ответила утвердительно.

Источник изображения: NVIDIA

Выступление финансового директора компании на конференциях предварялось публикацией новой версии презентации для инвесторов, которая была выложена в профильном разделе сайта NVIDIA в минувший понедельник. Уже закреплённый ранее в аналогичных документах график выхода новых архитектур нашёл своё отображение и на одном из слайдов самой свежей презентации для инвесторов. Напомним, что компания обязуется выпускать в серверном сегменте новые вычислительные архитектуры каждый год. При этом в беседе с ведущим мероприятия Колетт Кресс допустила мысль о том, что новые продукты фактически могут появляться даже чаще, ещё до выхода очередной архитектуры.

Arm-совместимая архитектура центральных процессоров Grace дебютировала в серверном сегменте недавно, партнёры NVIDIA начнут получать её представителей в составе гибридного модуля GH200, сочетающего ускоритель с привычной для графических процессоров компоновкой и центральный процессор. В дорожной карте NVIDIA его преемники фигурируют в категории «CPU + GPU».

Это породило у ведущего мероприятия Wells Fargo закономерный вопрос — а будут ли центральные процессоры NVIDIA появляться на серверном рынке без обязательного GPU-довеска? Колетт Кресс на этот вопрос ответила более эмоционально, чем обычно, два раза подряд подтвердив: «Возможность выхода просто Grace есть». По её словам, новые сценарии использования продуктов NVIDIA в центрах обработки данных будут подразумевать появление обособленных центральных процессоров типа Grace. В тандемном же исполнении они будут поэтапно объединяться с представителями новых графических архитектур каждый год: сперва в следующем году появится GB200 (Grace Blackwell), а в 2025 году будет представлен и GX200.

Кстати, расширение ассортимента предложений в серверном сегменте и переход на более частое обновление архитектур вынудили компанию на 40 % увеличить сумму авансовых платежей партнёрам, которые задействованы в процессе производства разрабатываемых NVIDIA чипов. Это вполне закономерно, особенно с учётом растущего спроса на самых ранних представителей этой категории продукции.

Компания NVIDIA совместно с облачным провайдером Amazon Web Services (AWS) представила ряд новых совместных решений, в основном, связанных с ИИ. Компании анонсировали мощные системы NVIDIA GH200 NVL32 для обучения и запуска нейросетей, а также объявили о создании на основе этих систем самого мощного облачного ИИ-суперкомпьютера в мире — Project Ceiba.

Project Ceiba. Источник изображений: NVIDIA

NVIDIA GH200 NVL32 представляет собой готовую систему, выполненную в формате стандартной серверной стойки. Она объединяет 32 гибридных ускорителя NVIDIA GH200 Grace Hopper Superchip, которые представляют собой двухчиповую систему из центрального процессора с 72 ядрами Arm Neoverse и графического процессора NVIDIA H100. Такая стойка сможет обеспечить выдающуюся производительность — до 128 Пфлопс в операциях FP8 (квадриллионов операций в секунду).

NVIDIA GH200 Grace Hopper Superchip

Система обладает 2304 процессорными Arm-ядрами, 20 Тбайт оперативной памяти, включая 4,5 Тбайт HBM3e с общей пропускной способностью 157 Тбайт/с. За связь между суперчипами GH200 отвечают девять коммутаторов NVSwitch и интерфейс NVLink с общей пропускной способностью 57,6 Тбайт/с. Применяется система жидкостного охлаждения. AWS первой предложит системы GH200 NVL32 в составе облачной платформы NVIDIA DGX Cloud. Более того, Amazon даст возможность клиентам объединять новые системы NVIDIA в кластеры EC2 UltraClasters, получая в своё распоряжение тысячи ускорителей GH200 Superchip. По словам самой NVIDIA, системы GH200 NVL32 идеально подходят как для обучения, так и для запуска крупных нейросетей — даже с 1 трлн параметров.

Устройство NVIDIA GH200 NVL32

Также компании анонсировали создание Project Ceiba — самого быстрого в мире суперкомпьютера для ИИ на базе GPU. Система обеспечит производительность 65 Эксафлопс (FP8). Она объединит в себе 16 384 ускорителя GH200, а также 9,1 Пбайт памяти и обеспечит общую пропускную способность интерконнекта на уровне 410 Тбайт/с. Суперкомпьютер будет частью облака AWS DGX Cloud и станет доступен клиентам AWS в следующем году.

Компания NVIDIA в рамках конференции SIGGRAPH 2023 представила вычислительную платформу GH200 Grace Hopper SuperChip нового поколения, представляющую собой двухчиповую систему из центрального и графического процессоров. Она послужит для построения НРС-систем и ИИ-платформ. В её основе используется новое поколение суперчипа NVIDIA Grace, оснащённого набортной высокопроизводительной памятью HBM3e, обеспечивающей доступ к информации со скоростью 5 Тбайт/с.

Источник изображения: NVIDIA

По словам NVIDIA, платформа GH200 Grace Hopper SuperChip нового поколения значительно превосходит по производительности своего предшественника. Один сервер на платформе GH200 Grace Hopper с двумя новыми суперчипами (то есть с двумя парами GPU+CPU) сможет предложить наличие 144 ядер Arm Neoverse, работающих в тандеме с 282 Гбайт передовой набортной высокопроизводительной памяти HBM3e. Такая конфигурация обеспечивает в 3,5 раза больше памяти и в три раза больше пропускной способности, чем предшественник. Производительность подобной платформы с парой суперчипов составляет 8 петафлопс.

«Для удовлетворения растущего спроса на генеративный ИИ центрам обработки данных требуются вычислительные платформы с особыми возможностями. Этот вопрос готова решить новая платформа GH200 Grace Hopper SuperChip, в которой применяется технология набортной памяти HBM3e с повышенной пропускной способностью. Она предлагает возможность объединения нескольких GPU для объединения производительности, а также позволяет создавать серверные системы, которые можно легко развернуть в любом месте центра обработки данных», — прокомментировал глава NVIDIA Дженсен Хуанг (Jensen Huang).

Суперчип Grace Hopper, лежащий в основе новой платформы, может быть объединён с такими же суперчипами с помощью шины NVIDIA NVLink. Эта высокоскоростная технология предоставляет графическому процессору полный доступ к памяти центрального процессора, обеспечивая суммарно 1,2 Тбайт быстрой памяти в случае конфигурации с двумя суперчипами. Это позволяет развёртывать крупномасштабные вычислительных системы, необходимые для решения комплексных задач, связанных с генеративными ИИ.

Память стандарта HBM3e, использующаяся в составе платформы GH200 Grace Hopper SuperChip нового поколения, обладает на 50 % более высокой производительностью по сравнению с HBM3 и обеспечивает совокупную пропускную способность на уровне 10 Тбайт/с в системе с несколькими платформами GH200 Grace Hopper SuperChip. Это позволяет платформе запускать в 3,5 раза более крупные ИИ-модели и обеспечивает значительный прирост общей производительности за счёт увеличенной в три раза пропускной способности памяти по сравнению с предшественником.

В NVIDIA отмечают, что на фоне растущего спроса на платформу Grace Hopper ведущие производители уже начали предлагать системы, построенные на базе суперчипа Grace Hopper. Новая платформа Grace Hopper SuperChip следующего поколения с памятью HBM3e полностью совместима со спецификациями серверной модульной архитектуры NVIDIA MGX, которая была представлена на выставке Computex 2023. Такая совместимость гарантирует, что любой производитель серверных решений сможет быстро и с минимальными затратами интегрировать Grace Hopper в более чем 100 вариантов серверов, представленных на рынке.

Внедрние новой платформы NVIDIA ведущими производителями серверных систем начнётся во втором квартале 2024 года.

Компания NVIDIA сделала себе имя в сегменте высокопроизводительных вычислений преимущественно за счёт ускорителей на базе графических процессоров. Это не мешает ей расширять ассортимент предложений для сегмента суперкомпьютеров за счёт центральных процессоров собственной разработки. Именно на их основе будет построен суперкомпьютер Isambard 3, который может войти в тройку самых энергоэффективных в мире.

Источник изображения: NVIDIA

Правда, как следует оговориться, выборка сделана среди суперкомпьютерных систем, не использующих ускорители вычислений на основе графических процессоров. По словам представителей NVIDIA, собираемый для Бристольского университета при участии Hewlett Packard Enterprise и других партнёров суперкомпьютер будет обходиться всего 270 кВт потребляемой мощности при пиковой производительности вычислений с точностью FP64 на уровне 2,7 Пфлопс. Это сделает его в шесть раз более эффективным по соотношению быстродействия и потребляемой мощности по сравнению с предшественником — Isambard 2. Подобное сочетание характеристик позволит Isambard 3 войти в тройку наиболее энергоэффективных суперкомпьютеров мира, не использующих специализированные ускорители.

Система Isambard 3 будет введена в строй весной следующего года, и позволит учёным Бристольского университета в Великобритании проектировать сложные энергетические установки, анализировать данные метеорологических исследований и заниматься поиском лекарственных средств, которые помогут в борьбе с болезнью Паркинсона, остеопорозом и коронавирусом COVID-19. В основе суперкомпьютера будут лежать 384 центральных процессора NVIDIA Grace с Arm-совместимой архитектурой. Напомним, что данные чипы способны предложить до 144 ядер (на двух кристаллах).

Прошлую неделю руководство NVIDIA предпочло начать с заявления о несоответствии реальных показателей выручки во втором квартале ожиданиям рынка, при этом давать публичные комментарии на сопутствующие темы компания отказалась до момента публикации полного отчёта 24 августа. Сторонние аналитики ожидают, что и третий квартал в отчётности NVIDIA не порадует инвесторов, предварительно рассчитывавших на получение компанией выручки в размере $7,4 млрд.

Источник изображения: NVIDIA

По мнению экспертов Bank of America, в третьем фискальном квартале NVIDIA выручит от $6 до $6,5 млрд, и намеченный на этот период анонс новых игровых решений поколения Ada Lovelace ситуацию особо не исправит. Как известно, во втором квартале игровая выручка NVIDIA сократилась последовательно на 44 % до $2,04 млрд, и спровоцированный сочетанием факторов кризис перепроизводства в потребительском сегменте, по мнению авторов аналитической записки, будет хоть и глубоким, но пройдёт достаточно быстро.

Он позволит очистить склады для 5-нм графических процессоров NVIDIA нового поколения — как в игровом, так и в серверном сегментах. В третьем квартале компания на серверном направлении наверняка выручит столько же, как и во втором — около $3,81 млрд, либо чуть меньше, поскольку на динамику продаж продолжает негативно влиять дефицит компонентов. В дальнейшем же спрос на серверные новинки начнёт стимулировать рост выручки NVIDIA в этом сегменте. Во-первых, на рынок выйдут ускорители вычислений поколения Hopper и центральные процессоры Grace. Во-вторых, они будут сочетаться с центральными процессорами Intel Sapphire Rapids и AMD Genoa. Представители Bank of America рекомендуют акции NVIDIA к покупке и прогнозируют рост их курсовой стоимости до $220. Вчерашнюю торговую сессию они завершили на отметке $181,60.