День открытых дверей в Суперкомпьютерном центре СПбПУ. Репортаж

⇡#Инженерная инфраструктура

Для обеспечения бесперебойной и эффективной работы СКЦ был создан целый ряд инженерных систем: энергообеспечение, кондиционирование и охлаждение, вентиляция, охранная система, диспетчеризация, система пожарной безопасности и так далее. Компания «РРС-Балтика» стала системным интегратором проекта, вместе с компаниями iCore и ИТЭК она создала все эти системы. Нередко приходилось решать уникальные инженерные задачи, но итоговый результат стоил того – для обслуживания СКЦ требуется всего 20 человек (включая уборщицу!). Всё управление осуществляется из одной-единственной небольшой комнаты с десятком мониторов и уютным диванчиком у одной из стен. Диванчик тоже важен, ведь работа диспетчеров ведётся круглосуточно. Впрочем, основная её часть возложена на автоматическую систему, которая и следит за всеми параметрами суперкомпьютера.

Основная задача этой системы – сберечь самое дорогое, то есть вычислительные узлы. Все ключевые элементы СКЦ имеют резервирование N+1. Если возникают проблемы с питанием, охлаждением и так далее, то система сама выключит узлы, которым грозит опасность. Впрочем, в случае каких-то более глобальных проблем диспетчер может вручную выбрать, какие узлы оставить на резервных мощностях, а какие выключить. Приоритет отдаётся тем группам узлов, на которых считаются «долгие» задачи – они могут выполняться неделями и далеко не всегда позволяют просто взять и «поставить их на паузу». Согласно показаниям системы мониторинга в момент экскурсии по СКЦ, запаса энергии в резервных источниках питания хватило бы почти на два часа автономной работы суперкомпьютера при текущем уровне загрузки.

Общая мощность СКЦ составляет примерно 1,2 МВт, а питание осуществляется от двух независимых источников, подходящих к СКЦ с разных сторон. По словам создателей, примерно столько же потребляет жилой дом на 200 квартир. Подводимый трёхфазный ток преобразуется в 400 В постоянного тока, от которого и питаются вычислительные узлы. Каждая стойка потребляет сейчас где-то 40-50 кВт. Для обеспечения надёжности в состав СКЦ входят три группы ИБП – для вычислителей, для системы кондиционирования и для системы мониторинга и управления. Общий КПД энергосистемы находится на уровне 98%. Аккумуляторы в ИБП необслуживаемые, их придётся менять примерно раз в 5-6 лет. Кроме того, для них пришлось создавать взрывобезопасную двухконтурную систему вентиляции. Также во всех помещениях установлена автоматическая система пожаротушения, которая безопасна для человека.

Суммарная мощность системы охлаждения составляет 1,08 МВт. По словам разработчиков, её мощности хватит для превращения в лёд более 200 кубометров воды в течение одного часа. На крыше находится блок из трёх холодильных машин, а в подвале соответственно есть три насоса, обеспечивающих циркуляцию. Сам блок имеет размеры 6 на 18 метров и весит около 20 тонн. Он покоится на шести специальных опорах, уходящих к фундаменту. В момент постройки здания даже не задумывались о том, что на нём буду установлены такие махины (так что по кровле нельзя ходить, например, в обуви на шпильках – она будет просто проваливаться). Внутри внешнего контура циркулирует примерно 15 тонн гликоля. Под рукой всегда есть запас из нескольких бочек с гликолем по 250 кг каждая.

В помещениях, где находятся трубы с гликолем, пол слегка поднят, а под ним спрятаны небольшие насосы, которые в случае протечки соберут всю жидкость в специальную ёмкость. Так как гликоль ядовит, его нельзя просто вылить, например, в канализацию. Разработчики особо гордятся итоговыми показателями эффективности использования электроэнергии. В данном СКЦ коэффициент PUE составляет менее 1,15, то есть затраты на охлаждение составляют менее 15% от общего энергопотребления. А при полной загрузке суперкомпьютера этот коэффициент будет ещё лучше. Кроме того, система охлаждения способна работать в режиме фрикулинга в холодную погоду, что также помогает экономить энергию.

⇡#Использование суперкомпьютера

А зачем вообще нужны суперкомпьютеры? Основная цель создания подобных машин в том, чтобы заменить натурные испытания численным моделированием тех процессов, что происходят во время этих испытаний. Классический пример, который чаще всего вспоминают, – это моделирование ядерных реакций. Создавать реальные прототипы ядерных реакторов или даже бомб и накладно, и долго, и, мягко говоря, небезопасно. А некоторые процессы вроде аварий на химических предприятиях и прочих экологические катастрофы вживую вообще никто проводить не будет. Равно как и, например, «тюнинг» искусственных сердечных клапанов на живом человеке.

Это, кстати, не гипотетические варианты использования суперкомпьютеров, а реальные задачи, которыми занимаются российские учёные. Впрочем, суперкомпьютеры всё же применяются чаще всего для мирных целей. Ярким примером служит опыт корпорации Boeing. При разработке прошлого поколения самолётов было создано 77 натурных прототипов крыла, для нынешнего обошлись всего семью прототипами, а всё остальное было смоделировано на суперкомпьютерах. И при создании российского самолёта SSJ-100 они тоже активно использовались.

Другой, более «приземлённый» пример касается смартфонов, которые есть теперь почти у каждого. Устройства привычные, но мало кто задумывается над тем, насколько они сложны. Для расчёта распределения тепла в корпусе смартфона требуется работа примерно 10 тысяч ядер в течение 10 часов. С другой стороны, суперкомпьютеры используются не только для замены экспериментов в реальном мире, но и для развлечений – современные анимационные фильмы создаются как раз с применением таких технологий. Конкретно «Политехник» уже был задействован для решения прикладных задач. На текущий момент его загрузка составляет более 75%, хотя изначально планировалось, что этот порог будет достигнут только к концу 2016 года. Это косвенно свидетельствует о высоком интересе к машине со стороны исследователей и инженеров.

В конце 2015 года сотрудниками СПбПУ была проведена работа «Прямое численное моделирование взаимодействия ударной волны с турбулентным пограничным слоем в трансзвуковом потоке». Проще говоря, исследовалось то, как турбулентность влияет на крыло гражданского самолёта и как его сделать надёжным. Проблема в том, что, хотя математическая модель турбулентных течений и была разработана ещё в конце XIX века, решение соответствующих уравнений требует гигантских вычислительных мощностей. Если верить прогнозам, прямое численное моделирование (ПЧМ) обтекаемости автомобиля или самолёта целиком станет возможным лишь к концу этого века. И это при постоянно растущей мощи вычислителей. Тем не менее современные машины позволяют решать такие задачи хотя бы частично. На «Политехнике» (кластер «Торнадо») и суперкомпьютере Mira (5-е место в TOP 500 на текущий момент) было проведено такое моделирование, причём решение РСК оказалось почти на порядок эффективнее.

Уникальность данного расчёта в том, что использовалась сетка на 8,7 млрд ячеек – ничего подобного в России до сего момента не было. Столь большой размер сетки вызван тем, что типичный размер крыла исчисляется метрами, а размер самых маленьких вихрей (маленького турбулентного потока), которые необходимо смоделировать, – порядка одного микрона. Для расчёта необходимо проделать от ста тысяч до одного миллиона итераций. Экспериментально столь высокую точность исследования получить невозможно. Точно так же нет никакой возможности пошагово изучить поведение сложных белков в структуре вируса гриппа. Именно этим занимаются сотрудники НИЦ «Курчатовский институт», работа которых в конечном итоге направлена на создание живой вакцины. Расчёт методами молекулярной динамики занял две недели на 2 700 ядрах систем РСК «Торнадо» и PetaStream. Если бы суперкомпьютер был полностью отдан в руки исследователей, то на расчёты ушло бы всего четыре дня. Фактически же суперкомпьютером пользуются и другие учёные.

Наконец, последний пример реального использования «Политехника» – это расчёт столкновения двух галактик на системе RSC PetaStream. Собственно говоря, астрофизические модели идеально подходят для подобных систем. Чем точнее модель, тем больше ресурсов она требует. По приблизительным подсчётам, для детального моделирования столкновения галактики типа Млечного Пути с любой другой галактикой необходимые мощности появятся лет через 60, а то и больше. Для расчёта же упрощённой модели столкновения галактик – проект Института вычислительной математики и математической геофизики (ИВМиМГ) Сибирского отделения РАН – потребовалось на несколько дней задействовать весь кластер PetaStream. Всего было задействовано более 60 тысяч потоков, а на данный момент алгоритм, способный распараллеливаться на 50 тысяч потоков и более считается эффективным.

⇡#Заключение

По словам В. С. Синепола, директора СКЦ, одной из основных задач на ближайшее время станет создание на базе СКЦ центра компетенций применения суперкомпьютерных технологий в инженерном деле и прикладных науках. Таким образом, любые предприятия – в первую очередь региональные – смогут воспользоваться и вычислительными мощностями, и опытом специалистов СКЦ для их эффективного задействования, и научной базой самого университета. И это станет новой страницей в суперкомпьютерной истории СПбПУ, которая началась ещё в середине прошлого века. Именно тогда в стенах Ленинградского политехнического института на базе Лаборатории вычислительных машин и электронной вычислительной техники было организовано Опытно-конструкторское бюро (ОКБ ЛПИ), которое создало оборудование для обработки орбитальных данных искусственных спутников Земли и системы управления космическими аппаратами, без которых вряд ли стал бы возможен первый пилотируемый полёт в космос. Будем надеяться, что страница эта будет не последней и очень интересной.