Сегодня 30 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Мощнейший ИИ-суперкомпьютер Илона Маска xAI Colossus на 100 тысяч Nvidia H100 показали изнутри

Новый дорогой проект Илона Маска (Elon Musk) — суперкомпьютер xAI Colossus для систем искусственного интеллекта, — впервые приоткрыл двери для общественности. На объект были допущены журналисты ресурса ServeTheHome. Они в подробностях рассказали о кластере на серверах Supermicro, сборка которого заняла 122 дня, — он работает уже без малого два месяца.

 Источник изображения: servethehome.com

Источник изображения: servethehome.com

Серверы с графическими процессорами построены на платформе Nvidia HGX H100. Каждый из них включает восемь ускорителей Nvidia H100 и универсальную систему жидкостного охлаждения Supermicro 4U с поддержкой горячей замены компонентов для каждого графического процессора в отдельности. Серверы установлены в стойках по восемь штук — получаются 64 ускорителя на стойку. В нижней части каждой стойки находится ещё один блок Supermicro 4U с резервной насосной системой и системой мониторинга стойки.

Стойки сгруппированы по восемь штук, что даёт 512 графических процессоров на массив. Каждый сервер имеет четыре дублирующих блока питания; в задней части стоек можно разглядеть трёхфазные блоки питания, коммутаторы Ethernet; есть также коллекторы размером со стойки, которые обеспечивают работу жидкостного охлаждения. Кластер Colossus содержит более 1500 стоек или около 200 массивов. Ускорители на эти массивы были установлены всего за три недели, рассказал ранее глава Nvidia Дженсен Хуанг (Jensen Huang).

Из-за высоких требований к пропускной способности суперкластера ИИ, который непрерывно производит обучение моделей, инженерам xAI пришлось приложить усилия в плане сетевого взаимодействия. Каждая графическая карта оборудована выделенным сетевым контроллером на 400 GbE с дополнительным 400-Гбит сетевым адаптером на сервер. То есть у каждого сервера Nvidia HGX H100 есть Ethernet со скоростью 3,6 Тбит/с — да, весь кластер работает на Ethernet, а не на InfiniBand или других экзотических интерфейсах, стандартных для суперкомпьютеров.

Суперкомпьютеру для обучения моделей ИИ, включая Grok 3, требуются не только графические процессоры, но и накопители, а также центральные процессоры, однако информацию о них компания xAI разглашает лишь частично. На видео, подвергнутых цензуре, видно, что за это отвечают серверы на чипах x86 в корпусах Supermicro — они также оборудованы жидкостным охлаждением и предназначены либо для работы в качестве хранилищ данных, либо для рабочих нагрузок, ориентированных на центральные процессоры.

На объекте установлены также аккумуляторы Tesla Megapack. При работе кластера возможны резкие перепады в потребляемой энергии, поэтому эти батареи ёмкостью до 3,9 МВт·ч каждая пришлось установить между электросетью и суперкомпьютером в качестве энергетического буфера.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Отечественные сервисы видеосвязи захватили более 90 % корпоративного рынка в России 2 ч.
В Telegram появилась «Проверка фактов», но не у всех 4 ч.
Слухи: Bethesda подготовила новые трейлеры The Elder Scrolls VI, но не для широкой публики 4 ч.
Восток и Запад встречаются в дебютном трейлере дополнения Badlands к симулятору выживания DayZ 4 ч.
Безоговорочный возврат средств, скидка за лояльность и план патчей: создатели провального ремастера Warhammer 40,000: Space Marine обратились к игрокам 4 ч.
AirPods с живым переводом и Wi-Fi без паролей могут появиться в iOS 26 уже осенью 10 ч.
Президент США заявил, что покупатель для американских активов TikTok найден 10 ч.
Baidu откроет исходный код Ernie, что может изменить расстановку сил на мировом ИИ-рынке 10 ч.
Meta переманила из OpenAI ещё четырёх специалистов в области ИИ 29-06 06:57
Раскрыта древнейшая «пасхалка» от разработчиков Apple — 27 лет назад её спрятали в Power Mac G3 29-06 01:36
Anker отзовёт ещё несколько миллионов пауэрбанков с потенциально пожароопасными элементами 22 мин.
MSI выпустит компактные GeForce RTX 5050 Gaming с разгоном и без 2 ч.
Samsung до сих пор не хватает собственной памяти LPDDR5X для смартфонов Galaxy S25 2 ч.
SiPearl Seine — сервер эталонного дизайна для европейских Arm-процессоров Rhea1 3 ч.
Apple разрабатывает сразу семь устройств виртуальной и дополненной реальности — первое выйдет уже в этом году 3 ч.
ATP представила индустриальные SSD серий N651Si/N651Sc с повышенной долговечностью 4 ч.
Китайские электромобили станут безопаснее: власти ужесточат требования к защите батарей от возгораний и взрывов 4 ч.
Албания присоединилась к европейской суперкомпьютерной программе EuroHPC JU 5 ч.
HUAWEI nova Y73: самый недорогой смартфон с кремний-углеродной батареей 6 ч.
CoreWeave снова пытается купить оператора ЦОД Core Scientific, от которого зависит бизнес компании 6 ч.