Число Пи вычислили до 300-триллионного знака — это заняло 191 день и до 1,5 Пбайт на SSD

Авторы канадского YouTube-канала Linus Tech Tips инициировали проект, который помог им оказаться в Книге рекордов Гиннесса — они вычислили число Пи, отношение длины окружности к её диаметру, до 300-триллионного знака. Для этого использовалось оборудование AMD, Micron, Gigabyte, Kioxia и ПО Weka.

Источник изображений: youtube.com/@LinusTechTips

Авторы проекта собрали кластер из девяти серверов хранения данных Gigabyte и одного вычислительного узла Gigabyte; в качестве программной платформы использовалась ОС Ubuntu 22.04.5 LTS. В вычислительном процессе интенсивно использовались ресурсы памяти, и потребовалось подключить приложение Y-cruncher, которое позволяет для подкачки ОЗУ использовать внешнее хранилище. Необходимую ёмкость хранилища обеспечили с помощью восьми серверов хранения данных.
В качестве серверов хранения данных использовали системы Gigabyte R183-Z95-AAD1, на каждую из которых пришлись два процессора AMD EPYC 9374F и около 1 Тбайт памяти DDR5 ECC. Для подключения по сети использовались по две карты Nvidia ConnectX-6 200 GbE, что дало 400 Гбит/с. Хранение данных осуществлялось на твердотельных накопителях Kioxia NVMe серий CM6 и CD6. Общий объём хранилища составил 2,2 Пбайт — 32 SSD CM6 по 30,72 Тбайт и 80 SSD CD6 по 15,36 Тбайт, что соответствует 245 Тбайт на сервер.

Вычислительным узлом выступил сервер Gigabyte R283-Z96-AAE1 с двумя 96-ядерными процессорами EPYC 9684X 3D V-Cache по 196 потоков на каждый. Сервер оборудовали 3 Тбайт DRAM: 24 планки Micron ECC DDR5 5600MT/s CL46 по 128 Гбайт; а также четырьмя сетевыми картами Nvidia ConnectX-7 200 GbE с двумя портами 200 Гбит/с на каждую — общая пропускная способность составила 1,6 Тбит/с.

Программа Y-cruncher помогла сформировать из серверов единую файловую систему, а ПО Weka настроили таким образом, что каждый сервер она воспринимала как два — это помогло добиться наибольшей эффективности в распределении данных. Каждый блок данных разбивался на 16 частей, к которым для обеспечения отказоустойчивости добавлялись 2 сегмента чётности — итого 18 виртуальных узлов, образованных двумя инстансами Weka на каждом физическом сервере.

Далее было необходимо ограничить объём данных, которые передавались между процессорами, чтобы избежать скопления задержек — из-за отправки данных с одного процессора на сетевые карты другого при ограниченной полосе пропускания памяти. На вычислительном узле запустили два контейнера Weka по 18 Гбайт для доступа к кластеру хранилища. Каждому контейнеру назначили по 12 ядер, чтобы максимально задействовать ресурсы 3D V-Cache на кристалле процессора AMD Zen 4, у которого 12 чиплетов, совместно использующих 32 Мбайт кеша L3 с дополнительными 64 Мбайт, что дало общий объём 96 Мбайт: буферы Y-cruncher не должны были превышать этот объём, поскольку это означало бы необходимость в дополнительных копиях памяти — на шину памяти повысилась бы нагрузка, а производительность — снизилась.

Пропускная способность Weka на запись составила около 70,14 Гбайт/с по сети; тестирование на чтение показало до 122,63 Гбайт/с с задержкой 2 мс. Первоначально система была настроена на четыре узла NUMA (Non-Uniform Memory Access) на каждый процессор — эту конфигурацию приложение Y-cruncher установило, чтобы оптимизировать локальность памяти; при перенастройке NUMA в один узел на сокет пропускная способность выросла до 155,17 Гбайт/с. Каждый SSD в системе работал на скорости выше 5 Гбайт/с; программа Y-cruncher использовала дисковое пространство как оперативную память. 300 трлн знаков в сжатом виде уложились в объём 120 Тбайт, но в процессе вычислений системе требовалось до 1,5 Пбайт — не использовались ни аппаратная, ни программная конфигурации RAID, но применялись собственные механизмы избыточности, которые помогли обеспечить целостность данных.

Процесс вычисления числа Пи начался 12 августа 2024 года и прервался через 12 дней из-за многодневного отключения электроэнергии и сбоев в системе кондиционирования воздуха — расчёт приостанавливали, перезапускали, и всего он занял 191 день. Удалось установить, что 300-триллионная цифра в числе Пи — это 5.

Ниже приводим краткую историю вычисления числа Пи.

• Примерно в 205 г. до н.э. Архимед определил его как 22/7 (около 3,142857).
• В V веке н.э. китайский математик Цзу Чунчжи (Zu Chongzhi) вычислил Пи до седьмой цифры (3,1415926) — этот рекорд продержался тысячу лет.
• В 1596 году нидерландец Людольф Цейлен (Ludolph van Ceulen) вычислил Пи до 20-го знака, используя метод Архимеда с многоугольниками до 262 сторон.
• В 1706 году британец Джон Мэчин (John Machin) вывел более эффективную формулу на основе арктангенса и получил 100 знаков.
• В 1844 году Захариас Дасе (Zacharias Dase) и Иоганн Мартин Штрассман (Johann Martin Strassmann) получили 200 знаков.
• К 1873 году англичанин Уильям Шэнкс (William Shanks) вычислил Пи до 707 знака, но правильными оказались только первые 527 цифр.
• В 1949 году американский компьютер ENIAC рассчитал число Пи до 2037 знаков, и дальше эти операции велись на компьютерах.
• В 1989 году братья Чудновские на суперкомпьютере вычислили Пи до более чем миллиардного знака.
• В 1999 году японцы Ясумаса Канада (Yasumasa Kanada) и Дайсукэ Такахаси (Daisuke Takahashi) применили алгоритм Чудновских на передовом на тот момент оборудовании и получили 206 млрд знаков числа Пи.
• В 2016 году швейцарец Петер Труэб (Peter Trueb) получил 22,4 трлн знаков за 105,524 дня.
• В 2019 году японка Эмма Харука Ивао (Emma Haruka Iwao) на ресурсах Google Cloud вычислила 31 415 926 535 897 знаков числа Пи.
• В 2021 году учёные Университета прикладных наук Граубюндена в Швейцарии вычислили Пи до 62,8 трлн знаков, потратив на это 108 дней и 9 часов.
• В 2022 году Эмма Харука Ивао обновила рекорд, и снова на Google Cloud, получив 100 трлн цифр числа Пи.