СКИФ Аврора ЮУрГУ: суровый Челябинский суперкомпьютер

Как и большинство современных суперкомпьютеров, СКИФ Аврора представляет собой кластерное решение: огромное количество небольших компьютеров, объединенных в единое целое высокопроизводительной сетью. Боевой единицей в системе СКИФ Аврора является крайне компактный blade-модуль со следующими характеристиками:

• 2 x Intel Xeon X5570: по четыре вычислительных ядра (8 потоков HyperThreading) на процессор, частота 2,93 ГГц (до 3,33 ГГц в режиме Turbo Boost), кэш L3 8 Мб, TDP 95 Вт;
• чипсет Intel 5500;
• FPGA Altera Stratix IV;
• 6, 12 или 24 Гб оперативной памяти DDR3-1333 (объем памяти варьируется 0,5 до 2-3 Гб, что «позволяет покрывать практически все основные конфигурации HPC-приложений для двухпроцессорных кластерных модулей»);
• SSD объемом 80 Гб, форм-фактор 1,8’’ – используются твердотельные накопители Intel X-18M (SSDSA1MH080G201).

Полностью укомплектованный blade-модуль суперкомпьютера СКИФ Аврора

Модули пакуются в шасси по 16 штук, каждое шасси имеет высоту 6U. Помимо собственно blade-модулей оно включает плату питания и корневую плату – эти платы находятся снизу и сверху от blade-модулей, которые расположены в шасси вертикально. Модули действительно очень компактные: их толщина составляет около дюйма, ширина – порядка семи. Несмотря на скромные размеры, они обладают отнюдь не скромной производительностью: каждый модуль обеспечивает 95 GFLOPS. На шасси, таким образом, приходится около 1,5 TFLOPS.

Далее шасси собираются в стойку – по восемь штук вертикально, что дает в совокупности 48U. Монтажный шкаф двусторонний: восемь шасси устанавливается с одной стороны шкафа, столько же с другой (из-за такой компоновки разработчики величают их «полушасси»). Blade-модули поддерживают горячую замену – в любой момент любой из модулей может быть извлечен из шасси, это не повлияет на работу остальных.

Непосредственно суперкомпьютер – это только центральный шкаф. Стойки слева и справа – это питание, коммуникации и охлаждение

Что до упомянутой выше высокопроизводительной сети, то их тут даже две. Во-первых, используется шина Infiniband QDR, работающая на скорости 40 Гбит/с с пропускной способностью. Каждое шасси оснащено 36-портовым коммутатором Infiniband – 16 внутренних соединений и 20 внешних. Во-вторых – и этим особенно гордятся разработчики – в СКИФ Аврора использована сеть с топологией трехмерный тор отечественной разработки, обеспечивающая соединение на скорости 60 Гбит/с. Именно для работы этой сети в blade-модули устанавливают FPGA-микросхемы.

Как можно заметить, blade-модули собираются в шасси чрезвычайно плотно, расстояния между ними практически не остается. И каждый из них потребляет и выделяет весьма впечатляющие 270 Вт. Как же удается охлаждать суперкомпьютер? Это еще одна примечательная особенность проекта: в СКИФ Аврора используется водяное охлаждение.

Шасси, вид сзади

Вкупе с заменой традиционных винчестеров на SSD, это решение позволило полностью избавиться от движущихся частей. По заверениям разработчиков, сей факт должен положительно сказаться на отказоустойчивости и энергопотреблении. Как было замечено во время презентации суперкомпьютера, порядка половины всей потребляемой современным суперкомпьютером энергии тратится именно на охлаждение. Жидкостная система позволяет сократить эти затраты на 60% – то есть сэкономить до трети общего потребления.

Каждое шасси снабжено сенсорным дисплеем

Помимо всего прочего, отсутствие движущихся частей обусловило и побочный плюс системы: оно позволило сделать ее практически бесшумной. Поскольку в ЮрГУ теперь есть два суперкомпьютера сравнимой вычислительной мощности, возможность «почувствовать разницу» была предоставлена. Что сказать, разница колоссальная: старый СКИФ Урал, обладающий производительностью 16 TFLOPS, занимает достаточно большое помещение – примерно с классную комнату, – уровень шума в котором примерно соответствует вагону московской подземки. СКИФ Аврора с его 24 TFLOPS спокойно помещается в небольшой комнатке размером с хорошую спальню и… вообще не шумит.

Стойка СКИФ Аврора. Зеленым выделена сеть, желтым питание. Красный и синий – охлаждение, горячие исходящие и холодные входящие трубки соответственно

Производительность в 24 TFLOPS на шкаф – показатель очень даже неплохой. Тут правда, не стоит забывать о том, что монтажные стойки унифицированы по ширине внутреннего пространства, но могут сильно отличаться по глубине и внешним габаритам. К примеру, Cray XT5 – на этих системах построен TOP1 суперкомпьютер Jaguar – обеспечивают до 12 TFLOPS на стойку, вдвое меньше, чем СКИФ Аврора. Но габариты шкафов почти вдвое же меньше: 572x1411 (Cray XT5) против 1095х1500 мм (Аврора) при близкой высоте – 2,04 и 2,26 метра соответственно.

Производители «Авроры» обещают поднять производительность до 40 TFLOPS на шкаф путем замены процессоров на 6-ядерные Xeon серии 5600. Но и враги не дремлют: в следующем поколении систем Cray, XT6, будут задействованы 12-ядерные AMD Opteron. Таким образом, производительность на стойку составит до 20 TFLOPS – при этом габариты увеличатся только по высоте, до 2,36 метра.

Впрочем, паритет по плотности вычислительной мощности с такой компанией, как Cray – это уже очень и очень неплохо. Тем более, что он подкреплен еще и паритетом по пропускной способности сети: именно топологию 3D-тор используют самые быстрые системы Cray и IBM.

Как уже было упомянуто в начале статьи, достигнутые результаты системы не являются конечной целью проекта. Предстоящее повышение производительности до 40 TFLOPS – тоже не предел. Замыслы гораздо масштабнее: система спроектирована с замахом на совсем другие результаты.

Примерно так может выглядеть сегодня российский суперкомпьютер производительностью порядка 1 PFLOPS

Разработчики уже готовые покорить заветный петафлопс – системе СКИФ Аврора с использованием 6-ядерных Xeon для этого понадобится всего лишь 25 шкафов. А также 2,84 МВт и много-много денег. На постройку пилотного СКИФ ЮУрГУ Аврора ушло, к примеру, 80 миллионов рублей. Поэтому главное – чтобы нашлись достойные такого масштаба вложений задачи. Будем надеяться, что они в нашей стране найдутся.