«Инферит ИТМен» (ранее iTman Discovery) — это российская система инвентаризации, учёта и контроля IT-инфраструктуры. Решение агрегирует данные из разных источников, нормализует, идентифицирует, обогащает и типизирует их для создания единого источника достоверных данных обо всех IT‑активах организации с автоматизированным обнаружением новых активов и постоянным контролем изменений. Решение включено в реестр отечественного ПО Минцифры (реестровая запись №12289 от 14.12.2021), соответствует требованиям российских регуляторов и фактически применяется с 2011 г. как в коммерческих, так и в государственных структурах. Разработчики отдельно отмечают, что «ИТМен» не является некой надстройкой над какими-либо open source продуктами, а весь код контролируется исключительно ими.

Источник изображений: «Инферит ИТМен»

Первое и, наверное, самое главное, что нужно отметить, — это то, что «ИТМен» является в первую очередь поставщиком очищенных и достоверных данных, в том числе по API и через готовые коннекторы, для других систем, например CMDB или ITSM/ITAM/SAM. Да, платформа позволяет быстро составить гибкие отчёты в веб-интерфейсе, чтобы пробежаться по ним глазами и принять какое-то решение (или отложить данные для более глубокого анализа), но не стоит воспринимать её как что-то, что не только заметит аномалии, но и сделает некие выводы и само предпримет упреждающие действия без участия человека. Основная задача платформы — инвентаризация, как можно более гибкая, с возможностью настройки под практически любую инфраструктуру, и масштабируемая до сотен тысяч устройств. По оценкам компании, «ИТМен» позволяет оптимизировать затраты на IT-инфраструктуру до 25 % путём выявления неиспользуемых лицензий, автоматизировать до 70 % ручных операций IT и найти неиспользуемые активы.

Конечно, «ИТМен» может уведомить и вышестоящий ИБ-инструментарий о появлении (или исчезновении) в обозреваемых системах ПО или «железа», но сделает она это не мгновенно, а постфактум при выгрузке журналов и отчётов. Более того, в изолированных контурах данные вообще могут переноситься не так уж часто, пересекая «воздушный зазор» на физических носителях, т. е. даже вне прямой области видимости. То же касается и, например, геораспределённых сетей. При этом в любом случае собираемые данные шифруются, в том числе по ГОСТ’у, есть возможность принести собственные сертификаты и, что самое главное, настроить работу с данными в соответствии с внутренними политиками безопасности. Непосредственно сама платформа интегрируется с LDAP, а также позволяет создавать группы и пользователей с различными правами и задавать им парольные политики. В будущих релизах обещана более гранулярная выдача прав.

Сбор данных

Непосредственно на устройствах, с которых будут собираться данные, рекомендуется заводить отдельные учётные записи с нужными для работы «ИТМен» правами. Это довольно общая формулировка, и она не случайна. Сбором информации занимаются агенты, которые могут передавать данные сразу в «ИТМен» или же через цепочку агентов-посредников. Цепочки полезны и для соблюдения правил безопасности, и просто для распределения нагрузки — например, нет смысла напрямую «гнать» в центральный офис данные со всех агентов филиала. Агенты работают на Linux и Windows и могут собирать данные как локально на тех машинах, где они запущены, так и по сети, в том числе автоматически выявляя новые устройства (но есть и отдельные облегчённые агенты, где вырезана функция сканирования сети). Это могут быть ПК, серверы, МФУ, коммутаторы, ИБП и т. д. Проще говоря, практически всё что угодно, что имеет хоть какой-то сетевой интерфейс и способ общения с внешним миром. И данные собирать можно тоже практически какие угодно, даже базовый список включает десятки пунктов. Ограничением будет не ваша фантазия, а… политики безопасности!

Для дискаверинга и инвентаризации по сети используются протоколы ICMP, ARP, LLDP, SNMP (v1, v2, v3), SSDP, DNS, SSH, WinRM, WMI и IPMI. Для последних четырёх, очевидно, нужно иметь удалённый доступ к хостам. Методы аутентификации поддерживаются самые разнообразные. Агенты «знают» все эти протоколы, а возможность их использования ограничена только поддержкой и доступностью нужного протокола со стороны удалённого хоста. Проще говоря, «ИТМен» изначально поддерживает работу в гибридных окружениях. Первичные данные об устройствах организации можно получить и из Active Directory (а также Samba, FreeIPA и LDAP вообще) или SCCM, а потом регулярно обновлять данные оттуда или же полагаться на сетевой дискаверинг. Но данные можно также собирать посредством SQL-запросов (Microsoft SQL и PostgreSQL) и REST API. Последнее, например, позволяет удобно работать с VMware-хостами. Да-да, «ИТМен» умеет работать и с гипервизорами, и с виртуальными машинами, и с контейнерами.

За сбор данных отвечают т.н. сенсоры, исполняемые агентами. Сенсоры — это фактически скрипты: PowerShell, Shell, SQL или внутренний скрипт «ИТМен». В одном сенсоре может содержаться несколько скриптов, например для последовательного сбора (или добора) данных или для выполнения разных скриптов в зависимости от заданных условий (И/ИЛИ). Условиями могут быть, к примеру, (не)успешное (не)выполнение предыдущего скрипта с (не)получением данных от него, тип ОС (Windows/Linux), наличие в собранных данных какого-то конкретного значения поля (атрибута) одного из объектов (активов): устройств, ПО, пользователей. «ИТМен» предлагает динамическую модель данных, так что для собираемой сенсорами информации можно создавать собственные поля различных типов, а не полагаться только на встроенные, которые, впрочем, покрывают самые часто используемые типы собираемых данных.

Все найденные и вручную добавленные устройства отображаются в специальном разделе, где их можно сгруппировать вручную или по какому-либо свойству, в том числе «раскидать» их по департаментам или филиалам с формированием вложенных подгрупп. У каждого устройства есть системные и настраиваемые поля, для заполнения некоторых из них нужны справочники. Некоторые поля или атрибуты можно заполнить в процессе обогащения данных, но об этом чуть позже. Для каждого устройства формируется карточка, где приведены все собранные о нём данные. В случае ПК/серверов/ВМ это полная аппаратная конфигурация, логические тома, гостевые ОС, сведения о пользователях и последнем входе, список установленного ПО и т. д. А, например, у принтера это будет «пробег» и объём тонера. Но, как и говорилось выше, собирать можно практически всё, что угодно.

Непосредственно процесс инвентаризации заключается в формировании задач с их последующим запуском в соответствии с выставленным приоритетом, вручную или с заданной регулярностью/по расписанию. Для каждой задачи выбираются нужные агенты, у каждого из которых видно наименование устройства, на котором он установлен. Агентам для удобства поиска и выбора можно присвоить теги, в том числе при первичной установке. Затем отбираются сенсоры, которые и предоставят данные. Для этих сведений доступна нормализация по справочнику. Например, Microsoft и Microsoft Corp. будут записаны как просто Microsoft, если в справочнике для этого вендора уже заведены различные варианты написания его имени. Поскольку какие-то получаемые данные могут совпадать у нескольких объектов, например одинаковое имя устройств в разных доменах или в разных сетях, либо, наоборот, одно устройство было обнаружено одновременно, скажем, во время сетевой инвентаризации и при опросе службы каталога, на следующем шаге настраивается идентификация, т. е. такое сочетание нескольких полей, которое будет определять уникальность объекта.

Наконец, опционально можно сделать обогащение данных — дополнить информацию об объектах, отфильтровав (больше/меньше/(не)содержит и т. д.) выбранные данные полей с предыдущих этапов, в том числе теги агентов. Таким образом, например, можно назначить тип устройства (ноутбук, десктоп и т. д.), определить его расположение (филиал, департамент и т. д.), доступность (слишком долго было офлайн) и т. п. Но в целом формировать критерии можно какие угодно — добавив поле и настроив обогащение, можно упростить поиск, фильтрацию и составление отчётов. Помимо задач инвентаризации есть особый класс задач отслеживания, которые в течение заданного времени с заданной регулярностью получают данные от выбранных сенсоров. Таким образом, например, можно отслеживать время и частоту использования выбранного ПО, а также тех, кто им пользовался. «ИТМен» ведёт историю задач, так что можно посмотреть, какие и когда были выполнены или засбоили в процессе.

Работа с данными

Активы — устройства, ПО, пользователи — представлены в одноимённом разделе. Именно сюда после инвентаризации попадают все собранные и обработанные сведения, с которыми можно работать в дальнейшем. Для ПО есть ещё одна крайне полезная функция — нормализация и идентификация данных с помощью каталога ПО, где есть сведения о более чем 315 тыс. приложений и служб. Библиотеку ПО (справочник) можно, конечно, наполнять и вручную, если разнообразие приложений не так велико. Но с готовым каталогом намного удобнее. Вообще работа с ПО в «ИТМен» достаточно продумана. Так, например, установка нескольких языковых версий Microsoft Office засчитывается как одна установка. Также помимо сбора установленного ПО предусмотрена инвентаризация исполняемых файлов на устройствах, позволяющая получать дополнительную информацию (версия, описание и путь к исполняемому файлу). И в целом ведётся учёт количества установок. Отдельно формируется список нераспознанного ПО, о котором нет сведений в библиотеке. Более того, «ИТМен» может отслеживать любое запущенное ПО, так что portable-версии тоже не ускользнут от его ока. Также можно задать списки запрещённого и разрешённого для использования на устройствах ПО. Наконец, для пользователей ведётся учёт, на каких устройствах и когда они входили.

Активы можно сгруппировать и отфильтровать по тому или иному параметру. Например, собрать воедино все устройства с Windows или определённого производителя. Для более глубокого и регулярного анализа предназначен раздел «Анализ данных». В нем находится конструктор отчётов, позволяющий создавать необходимые подборки, сохранять их в виде своих отчётов и настраивать регулярную отправку на определённую почту. Раздел «Исторические данные» позволяет отследить изменения в исторических данных в заданные даты. Например, можно составить отчёт об установке/удалении того или иного приложения, а для самих устройств можно отследить изменения того или иного параметра. В специальном отчёте «Использование ПО» можно отслеживать длительность и частоту использования приложений и их уникальных пользователей, что полезно при наличии конкурентных лицензий на ПО (для этого можно даже построить наглядные графики). Отчёты имеют табличный формат с настраиваемым отображением столбцов. Внутри отчётов доступны группировка, фильтрация и сортировка. Для отчётов доступна регулярная отправка на почту.

Ещё одна важная функция — журналы проверки для регулярного отслеживания выбранных полей (атрибутов) устройств. Для этого используются наборы правил, где каждое правило проверяет соответствие выбранного поля заданному критерию. Дополнительно задаётся уровень критичности: низкий, средний, высокий. На основе одного или нескольких правил формируются задачи проверки, которые исполняются с заданной регулярностью, а затем отправляют результаты на email. При этом можно настроить их так, что при отсутствии изменений отчёт отправляться лишний раз не будет. Всё отчёты складываются в журналы проверки, где с ними можно ознакомиться и потом. Также есть отдельные задачи оповещения, которые будут отслеживать изменения определённых конфигураций устройств и отправлять уведомления на почту или по REST API.

И вот как раз здесь в полную силу проявляется вся гибкость модели данных «ИТМен», потому что можно получать уведомления о практически любых изменениях в активах: появилось нежелательное или неизвестное ПО (например, зловред или запрещённый мессенджер); изменилась конфигурация оборудования (накопитель сломался или был украден); в сети появилось неизвестное ранее устройство (кто-то пронёс личный ноутбук или администратор просто забыл поставить агента на новый ПК) или, наоборот, устройства что-то давно не видно в сети; кто-то слишком долго пользуется каким-либо приложением (хотя в его обязанности это не входит) или зачем-то остановил службу антивируса; на компьютерах в бухгалтерии стало заканчиваться свободное место на накопителях, а на сервере с бэкапами его стало подозрительно много; у МФУ заканчивается тонер, у ИБП низкий заряд, а коммутатора что-то не так с портами и т. д.

Заключение

Если вам на секунду показалось, что «ИТМен» — это довольно сложный продукт, то… нет, вам не показалось. Во всяком случае, на то, чтобы разобраться с ним, придётся потратить время. С другой стороны, освоив хотя бы основные функции, можно донастроить функциональность продукта без обращения к вендору. Базовые коробочные версии для инвентаризации и поставки данных в CMDB обойдутся от 632 руб./год за каждое устройство. В стоимость включены гарантийная техподдержка и обновления в течение года (в среднем пять релизов в год). За возможность модифицировать модель данных придётся доплатить. Каталог ПО, позволяющий не вбивать вручную параметры для выявления и определения ПО и пополняемый вендором не только самостоятельно, но и по запросу от клиентов, распространяется по отдельной подписке. При остановке подписки текущая версия каталога сохранится, но без постоянного обновления смысла в этом немного.

Расширенная техподдержка, которая в том числе включает видеоконференцсвязь с экспертом, обучение внутренней команды заказчика, моделирование проблемы на стенде и удалённое подключение к инфраструктуре для отладки проблем стоит от 399 руб./год за каждое устройство. Доработка функциональности возможна по запросу. Для средних и крупных предприятий внедрение будет скорее проектной историей с обращением к интегратору, доработкой под специфические задачи и требования и т. п., а не просто покупкой лицензии, которую при желании можно напрямую приобрести у «Инферит». Впрочем, интегратор может выбрать вариант поставки и лицензий, и сертификата на внедрение. В этом случае внедрением занимается «ИТМен», и это, вероятно, самый лучший вариант для сложных развёртываний, т. к. никто не знает свой продукт лучше, чем сами разработчики. При этом «ИТМен» в целом уже учитывает специфику российского рынка, поддерживая отечественные дистрибутивы Linux, СУБД, готовые коннекторы (SimpleOne, BPMSoft, ITSM box и т. п.) и т. д.

Ценность «ИТМен» для IT-служб более чем очевидна, но вот экономический эффект заранее предсказать, скорее всего, будет сложно. Реальная польза будет зависеть не от самого продукта, а от качества его внедрения, корректности использования и поддержки всех сценариев в актуальном состоянии. И это как раз тот случай, когда «лучше день потерять, потом за пять минут долететь». А ещё лучше заказать демонстрацию продукта.

Программный комплекс ALD Pro (Astra Linux Directory Pro), если говорить официальным языком, — это «набор сетевых служб сервера Astra Linux для организации централизованного управления ИТ-инфраструктурой». А если говорить просто, то это отечественный аналог Microsoft Active Directory (MS AD) или Red Hat Identity Management (IdM), в отношении поддержки Linux-систем даже превосходящий их по возможностям.

Важным отличием от ряда конкурирующих продуктов является возможность гибридного развёртывания рядом с MS AD, что открывает путь к поэтапной миграции с зарубежных решений — домен ALD Pro может синхронизировать учётные записи пользователей вместе с их паролями и умеет устанавливать доверительные отношения с имеющимся доменом, который в этом случае отвечает за свои собственные службы, а для пользователей обоих доменов обращения к их службам работают совершенно прозрачно.

Источник изображения: ALD Pro

Второе важное отличие от решений конкурентов — это, по словам создателей, принципиально иной подход к выбору компонентов. Если первые чаще всего используют в качестве основы Samba, которая в большей степени ориентирована на управление Windows-компьютерами, то в ALD Pro за основу взята FreeIPA, которая в умелых руках позволяет сформировать полноценный домен для Linux, учитывающий особенности этой системы. Причём с групповыми политиками для настройки окружения пользователей и компьютеров, которые в поставке по умолчанию у FreeIPA отсутствуют. И если раньше разработчиков ALD Pro можно было обвинить в ориентированности только на один конкретный дистрибутив, имя которого прямо указывается в названии продукта, то теперь это не так. С релизом 3.0.0 появилась возможность ввести в домен ПК под управлением ALT Linux 10.4 и 10.2.1 (сертифицированная версия), РЕД ОС 7.3 и 8, а не только защищённой Astra Linux от 1.7.3 до 1.7.7.UU2 или от 1.8.1 до 1.8.1.UU2.

Источник изображения: ALD Pro

Кроме того, ALD Pro совместим с полусотней различных продуктов, включая даже Microsoft Exchange, и этот список постоянно растёт. В основном речь идёт, конечно, об аутентификации с использованием доменных учётных записей посредством Kerberos V5, что само по себе немало. Для контроллеров домена ALD Pro, правда, всё равно требуется Astra Linux 1.7.6.UU2 или 1.7.7.UU2, причём в редакции «Смоленск», т.е. с максимальным уровнем защищённости (для клиентов такого требования нет). А чтобы можно было попробовать базовые возможности, у ALD Pro 3.0.0 впервые появилась бесплатная редакция Free. Её основные ограничения — можно развернуть только один контроллер домена (плюс доверительные отношения с одним доменом MS AD), получить централизованную аутентификацию для 25 пользователей и управлять групповыми политиками для 25 ПК.

Источник изображения: ALD Pro

В целом ALD Pro предоставляет централизованное управление учётными записями пользователей и компьютеров, а также управление конфигурациями систем в домене через применение групповых политик. Посредством последних возможна установка и удаление ПО на машинах, а также использование собственных репозиториев. Для пущего удобства реализовано автоматическое развёртывание ОС на машинах в локальной сети с последующим введением в домен и включением функции удалённого доступа даже в редакции Free. Традиционно имеется управление печатью и общим доступом к файлам в сети предприятия. Базовые сетевые службы представлены собственными серверами DNS, DHCP и NTP. Естественно, доступны мониторинг и журналирование, в том числе с выгрузкой данных сторонним системам обеспечения информационной безопасности.

Платформа ALD Pro опирается на проверенное open source ПО: FreeIPA, 389 Directory Server, MIT Kerberos, Bind9, ISC DHCP, NTP, SSSD, CUPS, Samba, Zabbix, Syslog-NG, SaltStack, Reprepro, TFTP + PXE. Чисто гипотетически можно было бы попытаться самостоятельно собрать аналог ALD Pro из этих компонентов (что само по себе титанический труд), но полнофункционального решения из этого не выйдет. Во-первых, вендор изрядно доработал и подогнал друг к другу эти компоненты, и то не везде до сих пор всё идеально гладко. Во-вторых, он же создал и проприетарные составляющие, которые просто так уже не скопируешь. В-третьих, ALD Pro предоставляет единый портал управления, а также дополнительные GUI-утилиты: aldpro-join для присоединения компьютеров под Astra Linux к домену с возможностью обновления пароля компьютера и рядом других востребованных функций и aldpro-setfacl для добавления доменных пользователей и групп в списки доступа на файловом сервере.

Сам по себе домен ALD Pro использует ролевую модель управления доступом администраторов к тем или иным параметрам или модулями, т.е. областям действия. Для управления каждым типом объектов каталога задаётся отдельный набор привилегий: чтение (Read), создание (Create/Add), изменение (Modify), удаление (Drop/Delete) или же даются полные права Manage. Роли включают набор заданных (из коробки или вручную) привилегий. Таким образом, можно назначать права доступа администраторов с довольно высокой гранулярностью, в том числе на управление объектами конкретных организационных подразделений.

Но этим дело не ограничивается. В Astra Linux реализован мандатный контроль доступа с аудитом посредством отдельной службы PARSEC, да ещё и сертифицированный ФСТЭК, ФСБ и Минобороны России, что позволяет добиться максимального уровня защищённости при работе с «чувствительной» информацией. Это касается как самих хостов, где развёрнут ALD Pro, так и клиентских машин и пользователей, для которых необходимые настройки автоматически применяются в рамках групповых политик. Администраторы (и только они, в отличие от традиционного дискреционного доступа, когда права могут раздавать и обычные пользователи — владельцы файлов) задают уровни и категории конфиденциальности (МКЦ/МРД) и назначают допустимые значения конкретным сотрудникам, для которых при входе применяются разрешённые метки.

Мандатный контроль распространяется и на зарегистрированные внешние носители, что позволяет предотвратить утечки (а при необходимости и найти виноватых), а отдельный модуль ядра динамически контролирует целостность системных файлов. В ALD Pro теперь есть централизованная регистрация USB-накопителей (а не на каждой машине по отдельности) в службе каталога, чтобы их можно было монтировать на любом хосте в рамках домена. При регистрации можно задать для таких накопителей дискреционные и мандатные права доступа, что позволяет использовать их без риска утечки данных. Или же полностью запретить монтирование неучтённых накопителей. Да, всё это нужно далеко не всем, но для крупных предприятий КИИ будет большим облегчением наличие единых и воспроизводимых политик доступа, ускорение аттестации и аудита, а также упрощение ввода в строй новых пользователей/машин и минимизация шансов появления проблем из-за ошибок конфигурирования. Кроме того, групповыми политиками теперь можно включить и автомонтирование сетевых томов (своего рода аналог DFS-N).

Если мандатный контроль доступа работает только с Astra Linux, то для остальных систем есть два более универсальных механизма. Первый — правила для sudo, которые берутся из каталога (а не из локальных файлов конфигурации). ALD Pro позволяет групповыми политиками ограничить список приложений и сервисов, для выполнения которых требуется временное повышение прав, не лишая пользователей нужных им инструментов, но и не позволяя получить все привилегии суперпользователя. Второй механизм — правила HBAC (Host Based Accees Control), разрешающие заданным пользователям использовать определённые службы на конкретных хостах. Службами в данном случае называются любые приложения, которые используют PAM-стек для авторизации пользователей. Это опять-таки позволяет сделать доступ более гранулярным и централизованно управляемым (для групп пользователей и/или хостов) без ущерба повседневной работе. В документации ALD Pro предлагаются типовые шаблоны для обоих механизмов.

Разработчики также рекомендуют отключать локальные учётные записи, оставляя доступ только для доменных пользователей. Впрочем, даже для локальных учётных записей предлагаются дополнительные меры безопасности. Так, теперь групповыми политиками можно включить принудительное периодическое обновление паролей локальных администраторов (опционально этот же пароль будет устанавливаться и для GRUB) и ограничить минимально возможные длину и сложность пароля. Этот аналог LAPS позволяет не беспокоиться о том, что уволенные сотрудники сохранят доступ к системам. Кроме того, в новой версии ALD Pro появилась функция проверки новых паролей на отсутствие запрещённых слов (например, наиболее часто используемых и уязвимых сочетаний). В будущем планируется добавить проверку по базам утёкших паролей, хотя это не совсем тривиальная задача с точки зрения производительности, признают разработчики.

Но и в текущем релизе создатели поработали над повышением производительности платформы. Были существенно повышены надёжность и скорость модуля синхронизации, незаменимого во время поэтапной миграции пользователей в процессе импортозамещения. Перенос более 10 тыс. учётных записей осуществляется за два часа, при этом у пользователей остаётся непрерывный доступ к системам по логину-паролю вне зависимости от домена, что важно при миграции. Вендор отдельно отмечает, что синхронизация паролей вынесена в отдельный процесс, а журнал событий разделён на три потока: сервисный, операционный и поток синхронизации. По словам производителя, ALD Pro может масштабироваться более чем до 400 контроллеров и 30 млн. объектов. Чтобы работа с действительно крупными доменами была комфортнее, существенно доработан и портал управления, который теперь без задержек справляется с 300+ тыс. пользователей. Наконец, для ALD Pro 3.0.0 был подготовлен модуль «ACM 1.3.0 Инвентаризация», который отвечает за инвентаризацию парка ПК, их оборудования и ПО, лицензий на ОС Astra Linux. Модуль кардинально упрощает управление инфраструктурой, а на крупных предприятиях может быть и вовсе незаменим.

Наконец, отдельного внимания заслуживает утилита aldpro-join. Она значительно упрощает ввод нового компьютера под управлением Astra Linux в домен. От администратора требуются только его логин и пароль да имя нужного домена, а всё остальное утилита сделает сама. Не то чтобы без GUI нельзя обойтись, нет, консольная версия не менее прекрасно справляется со своей работой. Однако для новичков в мире Linux, перешедших из экосистемы Microsoft, это полезное подспорье. Компания в целом организовала различные курсы по обучению и переподготовке Windows-специалистов с последующей сертификацией, чтобы людям было проще провести миграцию на отечественный продукт. Кроме того, «Группа Астра» постоянно совершенствует документацию, в том числе справочные материалы, встроенные непосредственно в обновлённый портал управления ALD Pro.

Смотреть все изображения (8)

Смотреть все
изображения (8)

Этим список нововведений не ограничивается — разработчики внесли сотни малых и крупных изменений для повышения производительности и масштабируемости, надёжности и устойчивости, безопасности и удобства, совместимости и открытости к интеграции. Всё ли получилось, всё ли идеально? Нет, так не бывает. Но компания опирается на отзывы и опыт работы с продуктом собственных заказчиков, а перед каждым важным релизом формирует небольшие фокус-группы из реальных пользователей, которым даёт предварительный доступ к новой версии. И уже есть понимание, что будет включено в последующие минорные и мажорные обновления. Но уже сейчас ALD Pro решает две важные проблемы — это поэтапная и по возможности максимально безболезненная миграция с Windows и поддержка действительно крупномасштабных проектов развёртываний с соблюдением всех требований к инфраструктурам КИИ. Мало кто таким сейчас может похвастаться.

На прошлой неделе Intel представила первые процессоры семейства Xeon 6+, изготовленные по передовому техпроцессу 18A — Clearwater Forest (CWF), выпуск которых был отложен практически на год. Ожидание того стоило, поскольку компания вывела свою тайловую архитектуру и возможности упаковки на новый уровень. Clearwater Forest включает 12 EMIB-чиплетов (2.5D-упаковка), объединяющих 3 базовых тайла (Active Base, Intel 3) с 2 IO-чиплетами I/O (Intel 7) и 12 вычислительными тайламм с E-ядрами Core (Intel 18A с RibbonFET и PowerVia).

Это один из первых чипов, который производится по техпроцессу 18A, обеспечивающему, по словам компании, наилучшую энергоэффективность для основной логики благодаря меньшей ёмкости затвора, а также более высокую плотность ячеек, улучшенную маршрутизацию сигналов и шины питания на задней стороне. Технология 18A также снижает потери питания на 4–5 %. При общем повышении производительности компании удалось остаться в рамках прежнего диапазона TDP от 300 до 500 Вт.

Источник изображений: Intel

Ещё одна особенность Clearwater Forest — Intel AET (Application Energy Telemetry) — новая технология телеметрии энергопотребления приложений, нагрузок и ВМ. В отличие от интерфейса Intel Running Average Power Limit (RAPL), обеспечивающего мониторинг энергопотребления CPU, а также в некоторых сценариях DRAM и интегрированных GPU, с отражением расхода энергии в целом, новая функция позволяет контролировать энергопотребления по каждому приложению. Эта функция помогает разработчикам/администраторам профилировать и масштабировать рабочие нагрузки на процессорах с большим количеством ядер. Также реализована поддержка технологии Intel Turbo Rate Limiter.

Clearlwater Forest-AP также является первым процессором массового производства, использующим технологию Foveros Direct3D — это передовое решение для корпусирования, которое объединяет вычислительные и IO-тайлы на базовых тайлах. Foveros Direct 3D имеет расстояние между контактами 9 мкм и использует вертикальное соединение Cu–Cu. Технология реализована в виде активного кремниевого интерпозера с высокой плотностью и низким сопротивлением, обеспечивая производительность ~0,05 пДж/бит. Проще говоря, на передачу данных между тайлами расходуется минимум энергии.

I/O-тайл позаимствован у Granite Rapids-AP (6900P). Он содержит восемь блоков ускорителей Intel Quick Assist (QAT), Intel Dynamic Load Balancer (DLB), Intel Data Streaming Accelerator (DSA) и Intel In-Memory Analytics Accelerator (IAA) — суммарно до четырёх ускорителей каждого типа на CPU. I/O-тайл также имеет 48 линий PCIe 5.0 (всего 96 на процессор), 32 линии CXL 2.0 (всего 64) и 96 линий UPI 2.0 (всего 192). Всего доступно шесть UPI-подключений (по 24 ГТ/с), который в 2S-конфигурации дают 576 Гбайт/с между CPU.

Базовый тайл оснащён четырьмя контроллерами памяти DDR5-8000 (без поддержки MRDIMM), что в сумме обеспечивает 12 каналов памяти на процессор. Тайл также подключён к общему L3-кешу с 48 Мбайт на вычислительный блок или 192 Мбайт на базовый тайл. Суммарно это даёт 576 Мбайт общего L3-кеша на чип. Формально это существенный прогресс в сравнении с Sierra Forest-AP (6900E), но эти чипы массовыми так и не стали.

Вычислительный тайл состоит из шести модулей, по четыре E-ядра Darkmont в каждом (по-прежнему без SMT/HT) — 24 ядра на тайл или 288 ядер на 12 тайлов в составе процессора. Один модуль содержит 4 Мбайт общего L2-кеша, т.е. 24 Мбайт L2-кеша на тайл и 288 Мбайт L2-кеша на процессор. Clearwater Forest используют тот же сокет LGA 7529, что и Xeon 6900P (Granite Rapids-AP) и Xeon 6900E (Sierra Forest-AP). Ожидается и появление более компактных 144-ядерных Clearwater Forest-SP.

E-ядра Darkmont — это более «широкая» и быстрая версия предыдущей архитектуры Skymont, использовавшейся в десктопных CPU. По сравнению с Crestmont в Sierra Forest она представляет собой значительное обновление. В Darkmont реализовано девятипоточное декодирование — вместо шестипоточного в Crestmont — с помощью трёх трёхпоточных декодеров и возможность аллокации до 8 инструкций за раз. Ёмкость очереди микроопераций выросла с 64 до 96 записей, а буфера переупорядочивания с 256 до 416 записей.

Также имеется увеличенный кеш инструкций объёмом 64 Кбайт, и более точный улучшенный механизм предсказаний ветвлений. При этом работа с L2-кешем ускорена вдвое, до 128 байт/такт, а передача данных между L1-кешами теперь происходит быстрее и более предсказуемо (через L2). Кроме того, усовершенствована предвыборка на всех уровнях кеша.

В планировщик можно отдавать 8 инструкций за такт (+60 % по сравнению с предыдущим поколением) и завершать исполнение до 16 операций за такт (вдвое больше). Количество портов исполнения увеличено с 17 до 26. Скалярный движок (Scalar Engine) получил 8 целочисленных вычислительных блока (было 4), 3 блока генерации адресов загрузки и 4 блока генерации адресов сохранения (было 2), а также поддержку подсистемой памяти трёх загрузок и двух сохранений за раз. Векторный движок (Vector Engine) получил 4 блока vector/float store, 2 vector/float и 4 стека vector/float — можно работать с четырьмя 128-байт FMA-операциями, а не двумя. Заявлена поддержка AVX2 с VNNI и INT8.

В целом, Darkmont E-Core в платформе Clearwater Forest обеспечивают производительность до 90 % выше, чем 144-ядерный процессор Xeon 6780E (Sierra Forest-SP), а также повышение эффективности на 23 % по всем вариантам нагрузок. Сравнение не вполне корректное, учитывая разницу в количестве ядер. По сравнению с Cascade Lake-SP новая архитектура обеспечивает консолидацию серверов до 8:1 с более низкой совокупной стоимостью владения. Функции безопасности будут включать Intel Software Guard Extensions (SGX) и Intel Trust Domain Extensions (TDX).

NVIDIA поделилась подробностями об ускорителе Blackwell Ultra, обновлённом и улучшенном варианте NVIDIA Blackwell, представленном более года назад. Blackwell Ultra по-прежнему состоит из двух кристаллов с максимальными размерами в пределах фотолитографической маски, соединённых с помощью интерфейса NVIDIA High-Bandwidth Interface (NV-HBI) с пропускной способностью 10 Тбайт/с. Чип имеет 208 млрд транзисторов, изготовленных по кастомному техпроцессу TSMC 4NP — в 2,6 раза больше, чем NVIDIA Hopper — и с точки зрения ПО выглядит как один ускоритель.

Чип имеет 160 потоковых мультипроцессоров (SM), включающих 640 тензорных ядер (Tensor Core) пятого поколения общей с производительностью 15 Пфлопс в вычислениях в фирменном 4-бит формате NVFP4 (без разреженности) и общий L2-кеш с полностью когерентным доступом к памяти. SM объединены в восемь кластеров GPC (Graphics Processing Clusters).

Источник изображений: NVIDIA

Каждый SM представляет собой автономный вычислительный блок, содержащий:

• 128 ядер CUDA для операций FP32/INT32/FP16/BF16 и других точных вычислений.
• 4 тензорных ядра пятого поколения с движком NVIDIA Transformer Engine второго поколения, оптимизированным для вычислений FP8, FP6 и NVFP4.
• 256 Кбайт памяти Tensor Memory (TMEM) для WARP-синхронного хранения промежуточных результатов, что обеспечивает более эффективное повторное использование данных и сокращение трафика внекристальной памяти.
• Специальные функциональные блоки (SFU) для трансцендентной математики и специальных операций, используемых в вычислительных ядрах (kernel).

Когда NVIDIA впервые представила тензорные ядра в архитектуре Volta, они фундаментально изменили возможности ускорителей для глубокого обучения, расширяя с каждым новым поколением свои возможности, точность и параллелизм, говорит NVIDIA. Blackwell (Ultra) выводят эту технологию на новый уровень благодаря тензорным ядрам пятого поколения и Transformer Engine второго поколения, обеспечивая более высокую пропускную способность и меньшую задержку как для обычных, так и для разреженных ИИ-вычислений.

Новые тензорные ядра тесно интегрированы с 256 Кбайт тензорной памяти (TMEM), оптимизированной для хранения данных близко к вычислительным блокам. Они также поддерживают двухпотоковые блочные MMA-операции, где парные SM взаимодействуют в одной операции MMA, деля операнды и сокращая избыточный трафик памяти. Результатом является более высокая стабильная пропускная способность, более высокая эффективность использования памяти, более быстрое обучение и более эффективный инференс с малыми пакетами данных и высокой интерактивностью.

Не менее важным для производительности стало внедрение NVIDIA NVFP4, нового 4-бит формата с плавающей запятой, который сочетает микроблочное масштабирование FP8 (E4M3), применяемое к блокам по 16 значений, и масштабирование FP32 на тензорном уровне, что обеспечивает аппаратное ускорение квантования с заметно более низким уровнем ошибок, чем стандартный FP4. При этом точность практически такая же как FP8 (часто с разницей менее ~1 %), но потребление памяти снижается в 1,8 раза (и до ~3,5 раза по сравнению с FP16). При этом от развития FP64 компания практически отказалась.

NVFP4 обеспечивает оптимальный баланс точности, эффективности и производительности для ИИ-инференса, заявляет NVIDIA. «Плотные» NVFP4-вычисления в Blackwell Ultra обеспечивают существенный прирост производительности по сравнению с оригинальным ускорителем Blackwell — с 10 Пфлопс до 15 Пфлопс в NVFP4, то есть в 1,5 раза, или в 7,5 раза по сравнению с NVIDIA Hopper. Это ускорение напрямую влияет на масштаб инференса, обеспечивая большее количество параллельных экземпляров моделей, более быстрое время отклика и снижение затрат на каждый сгенерированный токен.

В Blackwell Ultra пропускная способность SFU для ключевых инструкций, используемых в слое внимания (attention layer), удвоена, что обеспечивает до двух раз более быстрые вычисления по сравнению с оригинальными Blackwell. Это улучшение ускоряет внимание как на коротких, так и на длинных последовательностях, но особенно эффективно для рассуждающих моделей с большими контекстными окнами, где softmax-этап, когда определяется наиболее вероятный токен для дальнейшего решения задачи, может стать узким местом по задержке.

Таким образом, ускорение работы механизма внимания в Blackwell Ultra уменьшает время до выдачи первого токена в интерактивных приложениях, cнижает вычислительные затраты за счёт сокращения общего количества циклов обработки на запрос и повышает энергоэффективность — больше последовательностей на Вт. В сочетании с NVFP4 новые ускорители позволяют добиться повышения качества многоступенчатых рассуждений и многомодального инференса.

Blackwell Ultra получили и улучшенную подсистему памяти — 288 Гбайт HBM3e, наполовину больше, чем в Blackwell (192 Гбайт). Всего используются восемь HBM-стеков и 16 × 512-бит контроллеров (общая разрядность 8192 бит). Пропускная способность осталась прежней — 8 Тбайт/с. Столь большой объём быстрой памяти позволяет целиком разместить в ней крупные модели (300+ млрд параметров), реже обращаться к системной памяти или накопителям, увеличить длину контекста и размер KV-кеша.

С точки зрения внешних коммуникаций изменений мало. Blackwell Ultra всё так же полагается в первую очередь на интерконнект NVLink 5 с пропускной способностью 1,8 Тбайт/с (по 900 Гбайт/в каждую сторонц) и возможностью объединения в рамках одного домена до 576 GPU в неблокируемой вычислительной фабрике. Хост-интерфейсы представлены PCIe 6.0 x16 (по 128 Гбайт/с в каждом направлении) и NVLink-C2C с когерентностью памяти (900 Гбайт/с).

Blackwell Ultra позволяет создавать более крупные модели, чем Blackwell, и повышать пропускную способность без ущерба для эффективности. Ускоренное выполнение softmax дополнительно повышает скорость реального инференса, увеличивая количество токенов в секунду на пользователя (TPS/пользователь) и одновременно улучшая количество токенов в секунду на МВт (TPS/МВт) в ЦОД.

Архитектурные инновации улучшают экономичность ИИ-инференса и переосмысливают возможности проектирования ИИ-фабрик, обеспечивая больше экземпляров моделей, более быстрые отклики и более высокую производительность на 1 МВт по сравнению с любой предыдущей платформой NVIDIA, говорит компания.

Суперчип NVIDIA Grace Blackwell Ultra объединяет один Arm-процессор Grace с двумя ускорителями Blackwell Ultra через NVLink‑C2C, обеспечивая NVFP4-производительность c разреженностью до 40 Пфлопс (до 30 Пфлопс без разреженности), а также унифицированную память объёмом 1 Тбайт, сочетающую HBM3E и LPDDR5X. Сетевые адаптеры ConnectX-8 SuperNIC обеспечивают высокоскоростное 800G-подключение.

Суперчип NVIDIA Grace Blackwell Ultra является базовым вычислительным компонентом стоечной системы GB300 NVL72, которая объединяет посредством NVLink 5 сразу 36 суперчипов Grace Blackwell (1,1 Эфлопс в FP4 без разреженности). Системы GB300 также выводят управление питанием на новый уровень. Они используют конфигурации с несколькими полками питания для обслуживания и сглаживания синхронных изменений нагрузки ускорителей.

Как отметила компания, NVIDIA Blackwell Ultra закладывает основу для создания ИИ-фабрик, позволяя обучать и развёртывать интеллектуальные системы с беспрецедентной масштабируемостью и эффективностью. Благодаря революционным инновациям в области интеграции двух кристаллов, ускорению NVFP4, огромному объёму памяти и передовой технологии интерконнекта, Blackwell Ultra позволяет создавать ИИ-приложения, которые ранее было невозможно создать с вычислительной точки зрения.

Шумные соседи

DDoS-атаки, к сожалению, стали обыденностью и, кажется, теперь касаются компаний из практически любых отраслей. Не то чтобы их раньше не было — конечно, были, но за последние годы изменились и частота, и характер, и смысл, а скорее даже бессмысленность таких атак. Например, на нас формально самая крупная из последних, но отнюдь не самая неприятная атака — флуд на 10 Гбит/с — была совершена в конце 2021 года. Её отфильтровал хостинг-провайдер, опцию базовой защиты от L3/L4-атак предоставляют практически все хостеры. Однако здесь обычно есть несколько проблем. Во-первых, это «шумные соседи» и политика справедливого использования даже для базового безлимитного подключения. Внешний канал, как правило, общий для всех или как минимум для группы клиентов, поэтому атака на одного из них может повлиять на остальных. А в случае действительно серьёзной угрозы такого клиента попросту отключают от сети. Забегая вперёд, скажем, что именно это с нами случилось.

Во-вторых, если покупать у хостера защиту отдельно, то ценник может неприятно удивить. Особенно в случае разовых атак, когда приходится платить за очистку трафика потерабайтно. Кроме того, при совсем уж неудачном стечении обстоятельств могут попросить дополнительные деньги и за волну трафика. Масштаб проблем зависит от тарифов хостинга, особенностей атаки и вашей архитектуры. Наконец, в-третьих, базовая защита от хостера обычно не предусматривает никакого особенного контроля и нормального мониторинга, она нередко работает в одностороннем и уведомительном порядке. А уж хоть какую-то защиту от L7 вообще почти никто не предлагает, только в рамках отдельной услуги, которая, скорее всего, является просто перепродажей чьего-то сервиса.

Очевидным решением всех этих проблем является уход непосредственно к специализированному поставщику услуг. Одним из наиболее популярных сервисов является CloudFlare, который за скромные деньги предлагает защиту от DDoS, CDN, WAF и кучу других возможностей. Правда, здесь тоже есть нюансы. Во-первых, далеко не все сервисы нужны каждому, некоторые приятно иметь, но обязательными они не являются. Более того, действительно нужные опции могут оказаться платными и вовсе не безлимитными. Во-вторых, CloudFlare печально известен выставлением астрономических счетов, если посчитает, что вы перебрали с использованием услуг. Ну и в-третьих, с постепенным запретом CloudFlare на территории РФ смысл в нём теряется. Хотя, стоит признать, в целом с CloudFlare работать комфортно. Даже первичная настройка путём переноса DNS-зоны очень проста.

Переезд

Несмотря на то, что наиболее болезненными являются L7-атаки, количество которых с 2022 года существенно возросло, от классического флуда никто не отказывается. Именно с этим нам и пришлось столкнуться. Если ранее хостинг-провайдер достаточно успешно отбивал такие атаки, то этой зимой его сил не хватило. В один не очень прекрасный выходной день на нас началась атака, которая в пике достигла 2996 Мбит/с и 307405 pps. Менее чем через полчаса хостер справедливо решил, что дальше это терпеть не намерен, и отключил нам сеть. К счастью, атака оказалась не слишком изощрённой, так что переезд на другие IP-адреса временно решил проблему. Длительность атаки установить не удалось, но несколько пробных включений в течение нескольких последующих часов показали, что она продолжалась. Продолжилась она и на следующие сутки.

Очевидно, что от перехода под защиту специализированного провайдера отказываться уже никак нельзя. Curator (ранее известный как Qrator Labs) — один из старейших поставщиков таких услуг на рынке. И если раньше казалось, что они нужны только каким-то очень крупным или лакомым для злоумышленников заказчикам, то теперь стало понятно, что пострадать может любая компания, даже такая маленькая и скромная, как наша.

Собственно процесс переезда не так уж сложен. Curator присылает довольно подробное письмо с простыми пошаговыми инструкциями для первичной настройки. В нашем случае это несколько веб-сайтов, т. е. Curator выступает в качестве реверс-прокси до наших серверов (апстримов), так что всё свелось к замене A-записей для нужных доменов, созданию сертификатов Let’s Encrypt на стороне Curator с автоматическим обновлением их в последующем и добавлению апстримов, т. е. подключений к нашим собственным серверам (в том числе с TLS и по HTTP/2). Тут же можно настроить вид страниц, которые будут отдаваться Curator при ошибках 502/503/504.

Также в приветственном письме рекомендуется перенести апстримы на новые IP, желательно из другой подсети, и заблокировать к ним доступ отовсюду, кроме подсетей самого Curator. В особенности когда переезд происходит под атакой. В интерфейсе есть набор утилит для проверки доступности ваших серверов для узлов Curator (и любого другого IP), проходимого им маршрута и корректности настроек доступа. На уровне апстримов можно устроить балансировку посредством Round robin/IP hash с развесовкой запросов и подключить активную проверку доступности апстрима. Ещё одна приятная мелочь — перенаправление с кодом 301/302/307/308 непосредственно на стороне реверс-прокси с возможностью замены имени хоста и пути.

При желании можно принести свои сертификаты и самостоятельно отправлять логи, касающиеся HTTP-трафика, чтобы Curator мог в этом случае также защищать и от некоторых L7-атак. Впрочем, можно и самому управлять доступностью своих ресурсов, наполняя по API белые и чёрные списки IP-адресов с указанием времени действия правил (до суток или навсегда) и опираясь на реальные IP-адреса пользователей, которые отдаёт Curator. Также полезно включить уведомление о превышении заданных порогов (в Мбит/с) для входящего, исходящего и пропущенного трафика, а также количества заблокированных IP-адресов.

Однако этим возможности не ограничиваются. Curator может работать как обратный TCP/Websocket-прокси или же просто прикрывать «отдельное» TCP-подключение. Для очень крупных заказчиков предлагается защита AS и доступ к Curator посредством туннелей IPIP или GRE. Кроме того, доступны услуги WAF и защищённого DNS-сервера (с передачей зоны). Всё это, естественно, предоставляется с расширенной аналитикой и превентивной защитой от атак. Сеть самого Curator имеет ёмкость 4 Тбит/с, включает 18 центров фильтрации по всему миру и имеет прямое подключение к Tier-1-операторам.

Защита от ботов

Помимо защиты от DDoS-атак Curator предлагает и фильтрацию запросов пользователей на своей стороне, в первую очередь для защиты от ботов. Никакой скрытой магии тут нет, всё настраивается самим клиентом, поскольку он лучше знает, каких пользователей пускать, а каких нет. Настройки разделены на две логических части: как фильтровать и кого фильтровать.

Для ответа на первый вопрос используются простые правила ЕСЛИ–ТО. В ЕСЛИ включён набор из трёх последовательно применяемых условий: хост (или группа хостов, которая задаётся в этом же разделе), метод (GET, POST и т.д.), путь (после хоста) или URI. Можно задать частичное совпадение для каждого из параметров или и вовсе написать регулярное выражение. В ТО входит набор из трёх основных реакций: принять и выдать проверку — при первом обращении отдать 401, снять посредством JS цифровой отпечаток с браузера и поставить cookie, при необходимости выдав CAPTCHA; принять только с cookie, т. е. где-то на более раннем этапе они уже должны быть поставлены; ничего не делать. Есть отдельная опция для работы с внешним CDN, которым нужен беспрепятственный доступ ко всему контенту. Curator «знает» про Ngenix, Akamai и G-Core, а также поддерживает аутентификацию G2O.

Настроенные выше правила применяются ко всему приходящему трафику в соответствии с заданным уровнем распределения проверок, за исключением выбранных стран или регионов и заданных IP-адресов или подсетей. Curator рекомендует проверить работу антибота на небольшом проценте пользователей, постепенно перейдя к тотальной проверке всего трафика. Конкретно для тестирования защиты от ботов можно отдельно задать список IP, для которых проверка будет выполняться всегда, и отключить любые проверки для клиентов с предзаданными HTTP-заголовками.

Кроме того, конкретно для защиты обращений не от веб-браузеров (или хотя бы WebView с JS) Curator предлагает задействовать не проверку cookie, которые, например, невозможно поставить при прямом обращении к вашему API из приложения, а проверку хеша, который вычисляется на основе HTTP-заголовков и предзаданного секретного ключа.

CDN

CDN — относительно новая услуга Curator, но весьма полезная, поскольку помогает быстрее доставлять контент до пользователей и экономить на трафике у своего хостинг-провайдера благодаря кешированию на стороне Curator, конвертации изображений в WebP с заданным уровнем сжатия (но если получившаяся на выходе картинка оказалась больше оригинала, то отдаётся оригинал), поддержке HTTP/2 и сжатия gzip/deflate/brotli. Для видео поддерживается работа с потоками HLS и DASH. Ну и конечно, сам CDN тоже находится под защитой от DDoS.

Подключение CDN тоже очень простое — Curator выдаёт домен (точнее, поддомен), который посредством CNAME можно привязать к собственному поддомену (или поддоменам) и, как и выше, выписать на него сертификат Let’s Encrypt прямо в интерфейсе Curator или опять-таки принести свой. Это удобно, поскольку позволяет при необходимости переключиться на другого CDN-провайдера.

Управлять временем жизни объектов в кеше CDN можно посредством заголовков expires и cache-control, а если их нет, то время жизни по умолчанию составляет 6 часов. Также можно принудительно отправлять клиентам cache-control: no-cache. CDN умеет и кешировать ответы с ошибками, как глобально, так и для конкретного клиента, чтобы лишний раз не дёргать апстрим. Дополнительно можно задать регулярные выражения для запрета обращения к конкретным URL (будет отдаваться код 404), а заодно включить перенаправление с кодом 301/302/307/308 непосредственно на стороне CDN. К слову, отдавать апстриму реальный IP-адрес клиента тоже можно в отдельном заголовке.

GET-параметрами можно обрезать, масштабировать или конвертировать изображения на стороне CDN. Сервис поддерживает работу с JPEG, PNG, TIFF, WebP и AVIF, в том числе конвертацию в эти форматы, но если явно операция конвертации не указана, то при любых манипуляциях с изображениями по умолчанию будет отдаваться JPEG или, если эта опция включена, WebP. В тестовом режиме работает возможность выборочно отключать массовую конвертацию в WebP GET-параметром, например когда она даёт слишком плохие результаты (скриншоты, графики и т.п.) или вовсе не нужна (оригиналы фотографий), но при этом отказываться от неё целиком не хочется.

ACL и API

Система прав доступа стандартная, но удобная — есть несколько готовых групп пользователей, однако можно создать и свои, в том числе вложенные, для большего удобства. В рамках каждой группы задаются правила доступа к разделам, подразделам или отдельным функциям. Всего более 30 позиций, причём для некоторых возможна и более гранулярная настройка, например доступ только к определённым сертификатам. Для каждого из правил доступа можно выбрать политики read, update, create, delete (для последних трёх, очевидно, автоматически включается и read). Для повышения защиты рекомендуется у каждого аккаунта включить двойную аутентификацию (TOTP или ключи доступа), а заодно включить уведомления о важных событиях.

Для доступа к API используются токены, которые передаются (строго с HTTPS/TLS/SSL) в отдельном HTTP-заголовке. Для каждого токена можно создать набор из нескольких политик, при необходимости задав доступ только к части принадлежащих клиенту ресурсов. Всего доступно несколько десятков различных API, которые покрывают значительную часть функциональности, доступной в консоли Curator.

Целиком построить собственную консоль, конечно, не выйдет, поскольку некоторые второстепенные разделы вроде финансовой документации в API не представлены. Кроме того, Curator не даёт прямого доступа к аналитике, но предоставляет возможность самому собрать в консоли графики по основным метрикам: трафик, запросы, задержка, ошибки и т. п. Наконец, Curator предоставляет и сборный помесячный отчёт с более детальной информацией о том, что вообще происходило с вашими ресурсами.

Заключение

Ни одного существенного инцидента с момента подключения к Curator весной этого года не произошло — и это главное. Это, конечно, не значит, что их не будет в будущем, но во всяком случае переход к Curator даёт чувство защищённости в неспокойные для Рунета времена, а это важно, особенно для онлайн-СМИ, которые должны быть доступны читателям всегда. Собственно переход под защиту Curator от DDoS никаких сложностей не вызвал.

CDN же помог почти на порядок сократить отдаваемый серверами трафик. Переезд на CDN сам по себе сложностей тоже не вызвал, однако мы, по-видимому, стали одними из первых пользователей данной услуги, так что кое-что пришлось на ходу уточнять и настраивать. Благо техподдержка у Curator адекватная и быстрая, да и в целом приятная в общении, что встречается не так уж часто. Она же, к слову, помогла разобраться с проблемой, которая Curator вовсе не касается, но которая без переезда была бы выявлена нескоро.

Единственное, за что можно пожурить сервис, так это за не совсем полную документацию (это только внешняя, есть ещё внутренний FAQ и справка). С одной стороны, понятно, почему так, — сервис постоянно обновляется, где-то по мелочи, где-то заметно. Это видно даже по демоаккаунту, который даёт общее представление об услугах, но всё же отличается от его актуальной версии, более «прилизанной» и удобной. С другой стороны, задавать какие-то элементарные вопросы техподдержке только потому, что буквально одного предложения или ссылки в документации нет, тоже странно.

Объекты критической информационной инфраструктуры (КИИ) подлежат особой защите согласно требованиям законодательства, которым предписывается после включения в реестр объектов КИИ перенос критически важных систем в изолированные (закрытые) контуры, отделённые от интернета. Однако без доступа к внешним ресурсам — государственным порталам, системам отчётности, информационным сервисам — работа современного предприятия невозможна. Поэтому требуется найти технологический баланс, обеспечивающий и соответствие требованиям безопасности, и необходимую для работы компании функциональность систем.

В решении этой задачи помогут современные отечественные средства виртуализации, позволяющие создать изолированный контур и обеспечить безопасное подключение к нему. Эти средства должны быть сертифицированы ФСТЭК на соответствие актуальным требованиям безопасности.

Источник изображения: Rocker Sta/unsplash.com

Рассмотрим задачу и способ её решения на примере одного из самых чувствительных типов объектов КИИ — аэропортов, где нарушение работы ИТ-систем грозит особенно серьёзными последствиями.

Изоляция vs функциональность

Как и любой другой объект КИИ, аэропорт должен соответствовать строгим требованиям регуляторов по информационной безопасности. Можно просто полностью перенести все системы в закрытый, изолированный, контур, но тогда без доступа к внешним системам не смогут нормально функционировать службы предприятия:

• финансовая служба не сможет отправить обязательную отчётность в налоговую через личный кабинет;
• отдел закупок не сможет разместить заказ на портале госзакупок;
• станут недоступны критические обновления для ИТ-систем;
• также под вопросом будет участие в видеоконференциях с внешними партнёрами.

Конечно, можно просто «пробить дыру» в защитном периметре для выхода в Сеть, но это ставит под угрозу всю инфраструктуру. Поэтому для обеспечения необходимой функциональности предприятия требуются специализированные решения, позволяющие обеспечить безопасную связь изолированного контура с внешними системами без нарушения защиты.

Источник изображений: «Базис» Интерфейс системы управления средой виртуализации Basis Dynamix Standard

Виртуальные рабочие столы: мост между изоляцией и функциональностью

Современные средства виртуализации обеспечивают возможность создать изолированные программные среды, которые могут безопасно взаимодействовать с внешними ресурсами без создания рисков для критической инфраструктуры. Например, решение вендора «Базис», лидера российского рынка виртуализации, предлагает создание виртуальных рабочих столов (VDI) в качестве безопасного «моста» между закрытым контуром и внешним миром

Система управления виртуальными рабочими столами Basis Workplace

Она отвечает за:

• централизованное управление виртуальными рабочими столами;
• гибкое разграничение доступа на основе ролей;
• мониторинг активности пользователей;
• безопасное подключение из закрытого контура.

Платформа виртуализации Basis Dynamix Standard

Она отвечает за создание защищённой изолированной среды и включает:

• центр управления виртуальной инфраструктурой, позволяющий администрировать виртуальные машины и сети;
• модуль безопасности Virtual Security, обеспечивающий аутентификацию и защиту данных;
• гипервизор vCore, создающий изолированные виртуальные машины для запуска операционных систем.

Как это работает: архитектура безопасности

Архитектура решения основана на создании демилитаризованной зоны (ДМЗ) между закрытым контуром и интернетом. В ДМЗ размещается диспетчер подключений (брокер), служащий контролируемой точкой доступа к виртуальным рабочим столам, которые находятся в закрытом контуре за пределами ДМЗ, что обеспечивает дополнительный слой безопасности.

Интерфейс системы управления средой виртуализации Basis Dynamix Standard

Из закрытого контура запускается клиентское приложение Basis Workplace, которое устанавливает соединение с диспетчером подключений в ДМЗ, защищённым межсетевыми экранами и обеспечивающим доступ к виртуальным рабочим столам. Благодаря этому виртуальные рабочие столы из закрытого контура имеют контролируемый доступ в интернет через отдельный защищённый канал.

Важная особенность архитектуры — применение различных политик безопасности в зависимости от источника подключения. При подключении из защищённого периметра пользователям разрешается использовать буфер обмена, периферийные устройства и USB-накопители. При подключении из внешней сети (например, из домашнего офиса) всё это блокируются для предотвращения утечки данных.

Такая многослойная архитектура создает надёжный барьер между критическими системами и внешним миром. Даже если виртуальный рабочий стол будет скомпрометирован, злоумышленники не получат доступа к системам в закрытом контуре, а хранение данных на конечных устройствах пользователей исключено.

Источник изображения: Boitumelo/unsplash.com

Что получают пользователи?

Виртуальные рабочие столы предоставляют сотрудникам широкие возможности для работы в интернете, но с соблюдением корпоративных политик безопасности.

Контроль доступа к веб-ресурсам осуществляется либо на уровне гостевой операционной системы виртуального рабочего стола, либо на уровне шлюзов доступа или прокси-серверов. Это позволяет предоставлять сотрудникам доступ только к необходимым для работы ресурсам и блокировать все потенциально опасные или нежелательные сайты и сервисы.

В зависимости от своей роли и должностных обязанностей сотрудники получают только необходимый для работы набор инструментов и доступов, например:

• финансовому отделу предоставляется доступ к порталам налоговой службы и банковским системам;
• специалистам по закупкам — к порталами госзакупок и сайтами поставщиков;
• ИТ-персоналу — доступ к загрузке обновлений и технической документации;
• руководители имеют возможность общаться в рамках видеоконференций с внешними партнёрами.

При этом все действия выполняются в изолированной виртуальной среде, физически отделённой от критической инфраструктуры. Скачивание файлов, просмотр веб-страниц, любые потенциально рискованные действия никак не отражаются напрямую на системах в закрытом контуре.

Что немаловажно, пользователи, как и раньше, работают с привычными веб-браузерами и другими интернет-приложениями без каких-либо ограничений функциональности. Виртуальный рабочий стол выглядит и функционирует как обычный компьютер с полным набором программ для работы.

Работа с электронной подписью и USB-устройствами

Предположим, финансисту необходимо подписать платёжное поручение в интернет-банке с помощью токена электронной подписи. Задача усложняется тем, что компьютер находится в закрытом контуре, а для подписи требуется доступ в интернет.

Решение «Базис» устраняет эту проблему с помощью технологии проброса USB-устройств. Сотрудник подключает токен или смарт-карту к устройству доступа (например, ПК) с установленным клиентом Basis Workplace. Устройство доступа может находиться как в защищённом периметре, так и во внешней сети — в зависимости от этого применяются различные политики безопасности. Basis Workplace автоматически делает подключённое устройство доступным на виртуальном рабочем столе, при этом поддерживаются:

• токены Рутокен и JaCarta для работы с электронной подписью;
• смарт-карты ESMART Token ГОСТ для защищённой аутентификации;
• устройства для работы с КриптоПро и другими системами шифрования.

Благодаря этому сотрудники могут полноценно работать с системами, требующими строгой аутентификации — будь то государственные порталы, системы отчётности или электронный документооборот — прямо из безопасной среды виртуального рабочего стола.

Бесшовный доступ к локальным ресурсам

В случае, если важные документы хранятся на рабочей станции в закрытом контуре, к которой подключены принтеры и другие периферийные устройства, использовать их можно с помощью Basis Workplace, предлагающим два варианта:

1. Проброс ресурсов через устройство доступа. Периферийные устройства (принтеры, сканеры, USB-накопители) подключаются к устройству доступа, на котором запущен клиент Basis Workplace, а доступ к ним пробрасывается в виртуальный рабочий стол.
2. Подключение к физическому ПК через агент. Через устройство доступа можно подключаться к физическому компьютеру в офисе, на котором установлен агент Basis Workplace. Это обеспечивает доступ к файлам, приложениям и ресурсам офисного компьютера из любого места.

Интерфейс платформы виртуализации рабочих мест и терминального доступа Basis Workplace

Кроссплатформенность

Решение «Базис» поддерживает разнообразные операционные системы — как на стороне клиентских устройств (Windows, Альт, Astra Linux, РЕД ОС), так и на виртуальных рабочих столах. Это позволяет внедрить его в любую существующую ИТ-инфраструктуру предприятия без необходимости глобальных изменений.

Интерфейс платформы виртуализации рабочих мест и терминального доступа Basis Workplace

Преимущества для службы информационной безопасности

Предлагаемое «Базисом» решение не только облегчает работу конечных пользователей, но и имеет существенные преимущества для ИБ-специалистов.

Прежде всего, архитектура с виртуальными рабочими столами создает эффективный барьер между закрытым контуром и интернетом. Даже если устройство доступа будет скомпрометировано, злоумышленники не получат доступ к критическим системам в закрытом контуре. Это принципиально другой уровень защиты по сравнению с традиционными решениями на основе межсетевых экранов и прокси-серверов.

Источник изображения: Kevin Horvat/unsplash.com

Особое внимание уделяется аудиту и мониторингу. Система ведёт подробные журналы действий пользователей, что позволяет отслеживать, кто, когда и к каким ресурсам получал доступ. Эта информация будет важным подспорьем при расследовании инцидентов и составлении отчётов для регуляторов. При обнаружении подозрительной активности можно будет оперативно отреагировать, вплоть до прекращения сессии пользователя.

Также важно то, что Basis Workplace и Basis Dynamix Standard полностью соответствуют требованиям российского законодательства о защите КИИ. Решение «Базиса» обеспечивает надёжную защиту от несанкционированного доступа к значимым объектам, изоляцию сегментов информационной инфраструктуры и контроль действий всех участников. Это значительно упрощает процесс прохождения регуляторных проверок и снижает риски санкций за несоблюдение требований законодательства.

Как происходит внедрение

В «Базисе» разработана прозрачная и эффективная методология внедрения платформы виртуализации, учитывающая специфику объектов КИИ и возможные индивидуальные требования заказчиков.

Вначале проводится подробный анализ потребностей, изучается существующая инфраструктура заказчика, проводятся интервью с ключевыми сотрудниками и определяются сценарии использования системы. В итоге формируется список требований к решению, учитывающий как технические аспекты, так и особенности бизнес-процессов предприятия.

На этапе проектирования архитектуры интегратор разрабатывает схему решения с учётом всех выявленных особенностей и ограничений инфраструктуры заказчика. Компания также готова рассмотреть и нестандартные требования. Например, можно, в случае необходимости, интегрировать решение с устаревшими, но критически важными системами мониторинга, использующими проприетарные протоколы — такие задачи нередко возникают на промышленных предприятиях. Для этого инженеры разрабатывают специальные «коннекторы», которые позволяют включить эти системы в общий контур безопасности.

После утверждения архитектуры вендор разворачивает тестовый стенд — демонстрационную среду, на которой заказчик может оценить работу решения «Базиса» в приближенных к реальным условиях. Это позволяет на ранней стадии выявить возможные проблемы и скорректировать подход к внедрению.

Источник изображения: Annie Spratt/unsplash.com

Все рутинные операции максимально автоматизированы для ускорения процесса внедрения. От заказчика требуется лишь корректно заполнить «техландшафт» — документ с описанием целевой инфраструктуры. На его основе формируется конфигурация системы, подготавливаются серверы, настраиваются операционные системы и проверяется готовность инфраструктуры.

Этап настройки и интеграции включает адаптацию решения к существующей инфраструктуре, настройку компонентов системы и их интеграцию с действующими информационными системами предприятия. Влияние на текущие бизнес-процессы сведено к минимуму — внедрение происходит поэтапно и не нарушает работу критически важных служб.

Перед запуском в эксплуатацию проводится комплексное тестирование и аудит безопасности всех компонентов решения. Вендор проверяет функциональность, а интегратор — соответствие требованиям регуляторов. При необходимости выполняется дополнительная настройка средств защиты.

После завершения тестирования проводится демонстрация работающего решения. «Базис» собирает обратную связь и при необходимости вносит финальные корректировки.

Заключительный этап — запуск решения в промышленную эксплуатацию. В зависимости от требований заказчика вендор может как обеспечить полную передачу компетенций внутренней ИТ-службе, так и взять на себя сопровождение системы в режиме 24/7.

Универсальное решение для всех объектов КИИ

Хотя в статье рассмотрено использование платформы виртуализации «Базис» на примере аэропорта, решение может использоваться для любых объектов критической информационной инфраструктуры:

• энергетика — электростанции, подстанции, диспетчерские центры;
• транспорт — железнодорожные узлы, морские порты, системы управления транспортом;
• финансы — банки, процессинговые центры, биржевые системы
• промышленность — оборонные предприятия, химические производства, металлургия;
• здравоохранение — больницы, диагностические центры, системы медицинских данных.

Решение вендора демонстрирует свою эффективность везде, где требуется сочетание высокой безопасности с доступом к внешним ресурсам.

Например, банк ВТБ ещё в прошлом году мигрировал с платформы Citrix на Basis Workplace, переведя на новое решение большую часть своих сотрудников. Также успешно реализованы аналогичные проекты по замещению зарубежных VDI-решений и в других крупных российских организациях, в том числе на объектах КИИ.

Источник изображения: Ivan Shimko/unsplash.com

«Базис» — российский лидер в области виртуализации

Компания «Базис» является ведущим игроком российского рынка виртуализации. Её продукты:

• разработаны в России и полностью соответствуют требованиям импортозамещения;
• сертифицированы и соответствуют стандартам ГОСТЕХ;
• успешно используются в более чем 120 ИС и ГИС, в том числе в инфраструктуре электронного правительства;
• лидируют на рынках виртуализации рабочих мест и серверной виртуализации.

Заключение: безопасность без изоляции

Работа критических систем в закрытом контуре не должна осуществляться в цифровой изоляции. Решение на базе Basis Workplace и Basis Dynamix Standard позволяет выстроить надёжный защищённый мост между закрытым контуром и интернетом, сохраняя высокий уровень безопасности.

Вендор понимает специфику работы объектов КИИ и готов помочь найти оптимальный баланс между защищённостью и функциональностью ИТ-инфраструктуры предприятия, поскольку настоящая безопасность — это не изоляция от цифрового мира, а умное управление рисками.

Излишним пуризмом в определении «отечественности» страдать не будем — чем большее количество компонентов и этапов производства локализовано, чем короче и прозрачнее цепочка поставок, тем лучше и выгоднее для конечного заказчика. Очевидно, что процессоры, накопители, память и ряд компонентов для материнской платы в России или не производятся, или производятся малыми партиями, что делает их достаточно дорогими. Но вот их монтаж, пайка, тестирование и т. п. целиком и полностью выполняются на собственной производственной площадке «Рикор» в Арзамасе с использованием большого количества современных промышленных роботов.

Доставка компонентов занимает некоторое время, но у «Рикор» всегда есть запасы. Общая производительность завода составляет десятки тысяч плат для различных устройств в месяц и несколько тысяч готовых серверных платформ (тоже в месяц). Стоит отдельно подчеркнуть, что мы рассматриваем именно серверную платформу, а не просто готовый сервер, поскольку «Рикор» был и остаётся во многом и OEM/ODM-производителем. Платформы компании лежат в основе множества локальных брендов, хотя компания продаёт и полностью укомплектованные серверы.

Так что, если описываемая здесь система покажется подозрительно знакомой, удивляться не стоит — услугами производства «Рикор» пользуются и другие российские компании. Для таких контрактных заказчиков это большой плюс, поскольку сами серверные платформы Rikor входят в реестр Минпромторга РФ и другие перечни отечественных продуктов. Поддержка и сопровождение ведётся, как это обычно и бывает, через партнёрскую сеть. Уже сейчас есть 16 сервисных центров в крупных городах, ещё 10 находятся в стадии валидации. Там есть и подготовленные кадры, и запас основных комплектующих и компонентов платформ.

Что локализовано полностью в серверных платформах Rikor, так это корпус. Некоторые другие российские серверные бренды до сих пор заказывают корпуса всё в том же Китае или на Тайване, что сказывается как на стоимости устройств, так и на скорости их поставки. Шасси у платформы Rikor 7212 собственного дизайна, созданное с учётом запросов российских клиентов, а вся металлообработка, включая оцинковку и анодирование, делается в России на роботизированных линиях из российских же материалов, причём действительно качественно. Литьё пластика тоже собственное, что позволяет кастомизировать внешний вид и конструкцию под запросы конечных заказчиков или других брендов. Компания даже несколько раз переделывала пресс-формы, чтобы добиться нужной чистоты и точности получаемых изделий.

Таким образом, у «Рикор» имеется выстроенная цепочка поставок, локализация производства (пусть неполная, но более глубокая, чем у других вендоров), опыт разработки серверных (и иных) платформ, сервисные центры, ЗИП’ы и гарантийное обслуживание. Не упомянуто только ПО, но тут как раз всё просто. BIOS/UEFI здесь от AMI с некоторыми модификациями, а прошивка BMC сделана на основе OpenBMC. В планах также создание ПАК под конкретные задачи.

Rikor 7212

Полностью название платформы звучит как Rikor 7212 gen.3 PROP (2U, 12 × LFF), а бюрократическое наименование у неё — КДБА.466219.021-01. Номер реестровой записи: 7047\\4\\2023. В том же семействе есть ещё модели Rikor 7225 (2U, 25 × SFF) и Rikor 7104 (1U, 4 × LFF). В целом материнская плата, лежащая в основе 7212, может использоваться и в других платформах. Кроме того, «Рикор» готовит ещё несколько вариантов пассивных бэкплейнов: с поддержкой 6 или 12 NVMe-накопителей для передней корзины, а также двух NVMe для задней. Активные бэкплейны тоже будут, но позже.

Rikor 7212 заключен в 2U-шасси и предлагает дисковую корзину на 12 LFF-накопителей SAS-3/SATA-3. На переднюю панель вынесены сегментный индикатор на две позиции, кнопки питания/сброса/UID и сопутствующие индикаторы, пара портов USB 3.0 Type-A, а также VGA-выход. Опционально доступна декоративная пластиковая решётка с защёлкой, защищающая доступ к накопителям. Верхняя крышка оснащена защёлкой-фиксатором, под самой крышкой спрятан неприметный датчик вскрытия корпуса. Сзади есть выделенный 1GbE-порт RJ45 для BMC, два USB 3.0 Type-A, VGA-выход, консольный порт DB-9, а также слот OCP 3.0 (2 × PCIe 4.0 x8).

Слоты расширения предлагают большое разнообразие конфигураций. Первый x32-райзер (самый левый, если смотреть сзади), подключённый к первому CPU, предлагает три слота x16, что позволяет установить либо одну двусхлотовую FHFL-карту, либо три однослотовых (x16 + x16 или же x16 + x8 + x8). К первому же CPU подключён слот OCP 3.0 и пара SlimSAS-коннекторов (x8 каждый). Точно такие же x32-райзер и пара x8-SlimSAS подключены ко второму CPU. И к нему же идёт и третий малый райзер x16, который предлагает два слота (x16 или x8 + x8) для низкопрофильных карт. Все перечисленные слоты — PCIe 4.0.

Нам достался вариант, где за третьим райзером находилась корзинка для двух SFF-накопителей SATA. Их можно использовать, например, для ОС. Особенно если подключить не к двум отдельным SATA-портам, идущим от чипсета (C621A), предлагающего также ещё три MiniSAS-HD (x4), два из которых обслуживаются полупрограммным RAID-контроллером Intel VROC (RSTe), — в сумме 14 портов SATA-3. К чипсету же относится и пара M.2-слотов PCIe 3.0 x2 (M key), которые тоже можно задействовать под «зеркало» для ОС. Если же карты расширения вовсе не нужны, то возможна конфигурация из двух корзин 2 × SFF и ещё двух корзин 2 × LFF.

Также на плате есть разъём USB 3.0 Type, колодка для фронтальных USB-портов, гнездо для TPM-модуля, колодка для ключа VROC, коннектор NC-SI, россыпь гнёзд для кабелей питания бэкплейна и карт расширения, а также слот microSD. Последний относится к BMC ASPEED AST 2500, который пока что, увы, может использовать только встроенный сетевой порт, а работать с NIC на картах расширения не умеет. Никаких дополнительных опций вроде мезонина под RAID-контроллер или дополнительных SD-слотов «Рикор» делать не стала, что правильно, поскольку удорожать плату ради не самых популярных опций смысла нет.

За охлаждение отвечают шесть (5+1) высокооборотных вентиляторов MX6038ABU1 от Topfan (60 × 60 × 38 мм) с возможность горячей замены как одного вентилятора, так и всего блока целиком. Без горячей замены, в принципе, можно было бы и обойтись, но в «Рикор» решили, что российских реалиях лучше с ней, чем без неё. На процессорах установлены радиаторы Ablecom с теплотрубками — заявлена поддержка CPU с TDP до 270 Вт. Сверху они накрыты пластиковым воздуховодом. О максимально допустимом уровне TDP карт расширения прямо ничего не говорится. Питание обеспечивают два (1+1) CRPS БП мощностью от 1200 Вт. В нашем случае это была пара 1,2-кВт Qdion (ASPOWER) U1A-D11200-DRB-Z класса 80+ Platinum.

Ну и последнее — Rikor 7212 рассчитан на установку двух процессоров Intel Xeon Ice Lake-SP (LGA4189) и 32 модулей памяти DDR4-3200 (L)RDIMM суммарным объёмом до 8 Тбайт. Это далеко не самая новая процессорная платформа, зато распространённая и доступная во всех смыслах, а потому популярная. Поэтому Rikor 7212 более чем подходит для серверов общего назначения, простого инференса (при установке GPU) и хранилищ. Знакомство с шасси и сборкой в целом оставило приятное впечатление — всё достаточно продуманно, но без излишеств. Хотя некоторые огрехи всё же есть. Так, в направляющих для блока вентиляторов один из проводов заминается. Впрочем, данный экземпляр был из демофонда, поэтому побывал много где.

BIOS

BIOS — это, пожалуй, самая трудная для замещения часть платформы. Качественных открытых проектов не сыщешь, так что приходится полагаться на проприетарные решения. В данном случае речь о прошивке AMI. В целом она ничем не отличается от стандартной, которой пользуются множество других вендоров. Все основные опции тут представлены, но опять-таки каких-то излишеств нет. Сдвоенного образа BIOS, кстати, тоже нет, но эту функцию добавят чуть позже.

Смотреть все изображения (32)

bios_25.png

Смотреть все
изображения (32)

Для RAID-контроллера — в нашем случае Broadcom MegaRAID SAS 9361-16i — успешно подгрузился option ROM, так что предварительная настройка массивов была сделана именно здесь. Для NIC то ли такой опции в принципе не предусмотрено (адаптеры LR-Link двух видов), то ли ROM’ы не заработали ни в CSM, ни в обычном режиме.

Смотреть все изображения (8)

Смотреть все
изображения (8)

OpenBMC

А вот для BMC открытые прошивки как раз есть, и здесь используется приятная глазу OpenBMC, к тому же переведённая на русский язык. На главной странице представлены краткие сведения о текущем состоянии сервера, а из отдельных тайлов можно быстро перейти в нужный раздел с более детальной информацией о конкретных компонентах и к настройкам. Из полезных опций отметим наличие не только готовых профилей охлаждения, но и возможность ручной регулировки или корректировки оборотов вентиляторов. Кроме того, хотя прямо об этом нигде не говорится, используется двойной образ прошивки для безопасного обновления оной.

Для взаимодействия с платформой доступны Redfish, IPMI 2.0, SNMP. Пользователи и уровни доступа как заводятся локально, так и забираются из LDAP/AD. Есть возможность загрузить свои SSL/TLS-сертификаты. Также доступна отправка уведомлений по почте (SMTP). iKVM представлен встроенным HTML5-клиентом с возможностью открытия в отдельном окне для пущего удобства и записью видео (технически это веб-клиент VNC). Доступно монтирование образов накопителей как непосредственно в веб-интерфейс, так и по HTTPS-адресу. В будущем появится управление настройками карт расширения и обновление их прошивок. В остальном же OpenBMC — это приятный интерфейс OOB-управления платформой.

Смотреть все изображения (20)

Смотреть все
изображения (20)

Тестирование

Платформа досталась нам с двумя процессорами Xeon 4310 — популярный вариант для демофонда, хотя в готовые серверы ставят, как правило, что-то более приличное. Это самые младшие чипы среди стандартных CPU поколения Ice Lake-SP, которые отличаются не только малым количеством ядер, но и поддержкой памяти уровня не выше DDR4-2666. Так что наличие сразу 16 RDIMM-модулей Samsung DDR4-3200 ёмкостью по 16 Гбайт — это, конечно, приятно, но в данном случае избыточно. Также «Рикор» поставила сразу три сетевых адаптера LR-Link: две 10GbE-карты LREC9812BF-2SFP+ на базе Intel X710 и OCP-адаптер LRES3023PT-OCP на базе Intel I350 (1GbE).

К RAID-контроллеру Broadcom MegaRAID SAS 9361-16i мы подключили собственные SATA-3 SSD Intel D3-S4520 ёмкостью 1,92 Тбайт каждый. Из трёх таких накопителей был сформирован массив RAID-5 с настройками по умолчанию. В комплекте также шла пара SAS SFF HDD Toshiba, но мы их использовать не стали (хотя и собрали RAID-1). Windows Server 2022 Standard 21H2 (20348) со всеми последними апдейтами была установлена на 240-Гбайт Seagate Enterprise SATA SSD, который разместился в задней дисковой корзинке.

В BIOS вручную был отключен CSM, а Secure Boot и ACPI Auto Configuration — включены. Остальные настройки оставлены по умолчанию. В Windows был выбран Performance-профиль питания. В OpenBMC политика охлаждения также была выбрана Performance. Со всеми этими настройками в Geekbench 6.4.0 система получила 1527 баллов в однопоточных тестах и 12060 — в многопоточных. А в CPU-Z 2.14.0 в бенчмарке версии 2017.1 — 386 и 10981 балл соответственно. В SPECworkstation 4.0.0 процессор получил рейтинг 1,39, а вышеупомянутый массив RAID-5 — 0,23. Наконец, в PassMark Performance Test 11.1 процессор заработал 39989 очков, а память — 2691 очко.

Впрочем, нас интересуют не абсолютные цифры бенчмарков, а работа с платформой в целом. И здесь никаких особенных вопросов и нареканий нет. Всё стартовало с первого раза, сбоев не было, необычного поведения не замечено. С драйверами конкретно для Windows Server проблем тоже не возникло. Часть устройств заработала сразу, часть потребовала скачать ПО с сайта производителя. А вот за документацию хочется упрекнуть. Точнее, так — инструкция к OpenBMC хорошо сделана и оформлена, а вот документация на материнскую плату косноязычна. Хотя и без неё можно обойтись.

Заключение

Rikor 7212 — это хорошая базовая платформа, на основе которой можно построить и сервер, и СХД, и ПАК. Она использует востребованное на нашем рынке семейство Intel Xeon Ice Lake-SP, доступное и недорогое. То же самое можно сказать и про компоненты для него, от памяти и накопителей до карт расширения. Разработанное компанией шасси предлагает действительно хорошие возможности для расширения, особенно в части дисковой подсистемы. Программная часть в целом удобная, с возможностью кастомизации и заделом на будущее. А на документацию мы уже чуть попеняли.

В то же время Rikor 7212 — это именно базовая платформа, а не высокопроизводительный сервер просто в силу того, что даже следующие поколение-два процессоров Intel Xeon существенно быстрее и функциональнее. Другой вопрос, что далеко не всем заказчикам они нужны. Кроме того, важна и локализация производства, скорость поставки готового оборудования и уровень поддержки на территории РФ, что как раз могут предложить не все отечественные вендоры. Так что в целом нам платформа понравилась, а для более серьёзных задач «Рикор» обещает скоро выпустить серверную платформу на основе следующих поколений процессоров.

Компания UserGate является первым отечественным разработчиком межсетевых экранов нового поколения (NGFW). Она начала свою деятельность в этом направлении 15 лет назад. В настоящий момент она является лидером по доле рынка в России в данном сегменте — только в 2022–2023 гг. было реализовано более 5000 внедрений. Решения успешно используются в крупных государственных и коммерческих структурах как в России, так и за рубежом.

Разработчик уделяет особое внимание максимальной локализации своих продуктов. В межсетевых экранах используется собственная операционная система UGOS и реализация таких технологий, как IPS, DPI и антивирус. Непосредственно про рассматриваемый в этой статье UserGate C150 также важно отметить, что дизайн и схемотехника были разработаны специалистами компании, а выпуск устройства проводится на контрактном производстве в Ленинградской области. Для определённых заказчиков важным моментом может быть включение решения в Реестр Минпромторга России и наличие сертификата ФСТЭК России.

Модельный ряд

В каталоге решений NGFW компании представлены продукты различного класса по производительности и аппаратной конфигурации — начиная с решений для филиалов и IoT и заканчивая моделями для центров обработки данных. Последние способны обрабатывать трафик на скоростях до 200 Гбит/с в режиме межсетевого экрана и 30 Гбит/с с активными функциями контроля приложений и предотвращения вторжений. Также предусмотрена поставка решения в формате виртуальной машины для всех распространенных платформ, что может быть интересно как для малого бизнеса, так и для размещения в облачных сервисах. Для требующих высокой доступности сервисов есть возможность использования устройств в кластерах Active – Passive или Active – Active.

UserGate C150

Кроме непосредственно NGFW, компания также поставляет специализированные решения для хранения и обработки журналов событий UserGate Log Analyzer и для централизованного управления несколькими устройствами UserGate Management Center. Конечно, есть в портфолио и программный продукт UserGate Client для защиты конечных устройств и обеспечения безопасного доступа к инфраструктуре с реализацией таких актуальных технологий, как EDR, NAC и ZTNA.

Лицензирование

Для связанного с кибербезопасностью оборудования своевременное обновление и полнота баз угроз является одной из ключевых характеристик. И вполне ожидаемо, что этот сервис предоставляется по формату годовой подписки, причем предусмотрены несколько вариантов, что позволяет подобрать оптимальный комплект по требованиям заказчика. Базовый вариант Security Update (SU) включает в себя обновление встроенного ПО, сигнатур системы обнаружения вторжений и сигнатур приложений. Расширение Advanced Threat Protection (ATP) добавляет фильтрацию URL по категориям, фильтрацию URL по спискам, обновление морфологических баз, сервис веб-безопасности. Расширение Mail security позволяет использовать проверку почтового трафика для определения спама. Потоковый антивирус UserGate используется для проверки трафика на вирусы на лету.

Для использования двух устройств в режиме кластера также понадобится приобрести одноимённый пакет. Последняя опция — контроль доступа в сеть на уровне межсетевого экрана — необходима при использовании схемы контроля конечных устройств UserGate Client. Добавить новые подписки можно в любой момент. Штрафов при возобновлении оплаты за подписки не предусмотрено. Стоимость подписок также зависит от количества сетевых устройств, трафик которых будет проходить через межсетевой экран.

Активация лицензий и обновление списка активных модулей происходит при регистрации устройства, для чего ему необходимо обеспечить интернет-доступ. В дальнейшем статус будет перепроверяться раз в сутки. При работе в закрытом контуре предусмотрена активация через прокси-сервер. В новых версиях прошивки предусмотрена и офлайн-активация лицензии.

Сервис, поддержка, помощь при миграции

Поставки межсетевых экранов проводятся по стандартной цепочке производитель → дистрибьютор → интегратор → заказчик. Ценовая политика компании основана на индивидуальном подходе, так что в свободном доступе цен нет.

Кроме подписок на обновления, компания предлагает несколько планов технической поддержки. Они различаются оперативностью реагирования, набором услуг и, конечно, стоимостью. Кроме того, есть и разовые услуги, такие как проектирование, внедрение, резервирование аппаратного обеспечения, тренинги и обучения, помощь при миграции с решений других производителей, аудит защищённости сети заказчика, обновление и настройка стороннего оборудования.

На портале техподдержки в публичном доступе представлена документация (руководства пользователя по моделям и по возможностям и настройкам ПО) и ответы на часто задаваемые вопросы с группировкой по категориям.

При регистрации заказчик получает доступ в личный кабинет, где можно скачивать обновления программного обеспечения и взаимодействовать с поддержкой производителя. Штатный режим обновления прошивки — онлайн с сохранением конфигурации. В случае использования кластера обеспечивается непрерывность работы при обновлении ПО.

Комплект поставки

Предоставленная на тест модель UserGate C150 поставляется в стандартной картонной коробке. Внутри устройство защищено вставками из вспененного материала. В комплект поставки входят сам межсетевой экран, внешний блок питания с сетевым кабелем, один патч-корд, кабель для подключения к консоли и листовка с условиями гарантии и ссылками на документацию. Отсылка пользователя на сайт для получения информации об устройстве сегодня более предпочтительна, чем комплектация печатной документацией, поскольку продукты постоянно развиваются.

Блок питания от известного бренда Mean Well отдаёт 12 В 5 А и имеет несъёмный кабель длиной 1 м со стандартным круглым штекером. Для подключения к сети питания установлен также стандартный C14 для комплектного кабеля с вилкой Shuko (при необходимости кабель можно поменять на C13-C14 для подключения к ИБП или PDU). Патч-корд категории 5e имеет длину 1 м. Метровый же консольный кабель снабжён разъёмами USB Type-C и USB Type-A. И блок питания, и консольный кабель не являются уникальными для модели, что можно отнести к плюсам, поскольку при необходимости не будет проблем с подбором замены.

Внешний вид

Межсетевой экран выполнен в крепком металлическом корпусе серого цвета и внешне ничем не выделяется в сегменте современного сетевого оборудования. Внутри нет никаких обслуживаемых пользователем компонент, так что корпус опечатан. Высота корпуса стандартная для стоечного оборудования. Однако штатно предусмотрен вариант установки только на резиновых ножках, которые увеличивают фактическую высоту на 7 мм. Опционально компания предлагает специальное крепление, позволяющее установить в серверную стойку на 1U два межсетевых экрана данной модели вместе с блоками питания.

Ширина корпуса составляет 205 мм. На правой стороне находится решётка вентилятора (кстати, от Delta). Забор воздуха для вентиляции производится через решётки на левой боковой стороне корпуса. Глубина корпуса — 185 мм. При этом необходимо добавить ещё минимум 40 мм сзади на подключение питания (если использовать комплектный блок питания с прямым штекером) и примерно столько же спереди для сетевых кабелей. Масса устройства — 1,2 кг.

Несмотря на позиционирование для СМБ и филиалов, устройство штатно имеет возможность подключения двух блоков питания, что позволяет реализовать резервирование. Но для этого потребуется докупить ещё один блок питания. Также сзади есть винтовая клемма для подключения заземления. На передней панели устройства, слева, расположен блок из восьми гигабитных портов для медного кабеля. Каждый имеет индикаторы скорости и активности. Далее идут порт USB 3.0 для подключения накопителя, выделенный сетевой порт 100 Мбит/с для OOB-управления, консольный порт USB Type C и четыре многоцветных светодиодных индикатора.

Технические характеристики

UserGate C150 имеет аппаратную платформу с восьмиядерным процессором Arm с частотой работы 1,6 ГГц, 16 Гбайт оперативной памяти и SSD на 128 Гбайт для ПО. Решение оборудовано восемью гигабитными портами для медного кабеля для обрабатываемого трафика и одним выделенным портом для управления. Потребляемая мощность устройства не превышает 36 Вт. Диапазон рабочих температур — от 0 до 40°C.

UserGate C150 разработчик рекомендует использовать для обслуживания не более 150 пользователей. Для рассматриваемого типа оборудования реальная производительность существенно зависит от используемых технологий проверки трафика и управления им, и выбор оптимальной модели необходимо проводить с привлечением специалистов и/или пилотного запуска. Существенно изменить что-то по скорости уже не получится — если её не будет хватать, то придётся или отказываться от каких-то проверок, что не всегда допустимо, или менять модель на более производительную. Возможности провести обновление с компенсацией за заменяемое устройство и переносом подписок нет.

Возможности встроенного программного обеспечения

Для первоначального подключения и настройки есть сразу три варианта — можно использовать консольный порт, который эмулирует через USB традиционный последовательный интерфейс, можно подключиться к выделенному порту управления с доступом по ssh или же использовать port0 и веб-интерфейс. Первые два консольных варианта применяются преимущественно для настройки IP-адресов с последующим переходом к третьему способу доступа через браузер. Кстати, веб-интерфейс работает на нестандартном порту 8001 и по https.

В целом первые шаги традиционны для данного оборудования: выбираем язык (есть русский и английский), часовой пояс (важно для корректной работы связанных с временем сервисов), принимаем условия лицензионного соглашения, задаём пароль главного администратора. Далее будет необходимо обеспечить устройству выход в интернет для проведения регистрации.

Основной вариант ручного взаимодействия с устройством — веб-интерфейс в любом современном браузере. Для реализации определённых сценариев может быть полезно наличие REST API для работы с устройством. Например, можно самостоятельно реализовать регистрацию пользователей.

Для мониторинга текущего состояния устройства используются две панели. Одна показывает ситуацию с точки зрения сетевой нагрузки, включая статус портов, загрузку процессора и оперативной памяти, трафик по портам, интенсивность запросов DNS и HTTP, статистику VPN-подключений. Вторая отражает данные по системам безопасности — пользователи, приложения, домены, атаки и так далее. Более подробные инструменты мониторинга и диагностики собраны в одноимённом разделе. Здесь можно посмотреть текущие сессии, таблицу маршрутизации, подключения пользователей по VPN.

Для диагностики предусмотрены как традиционные инструменты ping, traceroute и DNS Loockup, так и более сложные — захват пакетов, проверка прохождения трафика по правилам, проверка работы LLDP.

В этом же разделе настраиваются правила оповещений (поддерживается SMTP и SMPP) и протокол SNMP.

Большое внимание уделено журналированию работы устройства. При этом можно настроить отправку событий на другие системы по syslog, FTP или SSH. В правилах пересылки выбираются требуемые журналы, формат сообщений и расписание.

Не забыта и такая важная функция, как автоматическое составление отчётов. В списке шаблонов представлено более 100 готовых вариантов. Среди них — отчёты по трафику, доменам, приложениям, пользователям, атакам.

Меню настроек устройства насчитывает более шестидесяти страниц, так что рекомендуется провести обучение специалистов компании, если планируется использовать собственных сотрудников для обслуживания межсетевого экрана.

В первом разделе представлены общие настройки, такие как время, служебные доменные имена, модули, обновления и так далее. Обратим внимание на возможность настройки входа в веб-интерфейс не только по паролю, но и по сертификату. В целом аутентификация администраторов может работать как с локальными аккаунтами, так и через внешний сервис LDAP. При этом можно иметь и несколько различных профилей (ролей) для них с разными доступами и правами.

Также полезными будут встроенные средства резервного копирования конфигурации на внешние серверы. Конечно, есть и страница управления сертификатами, используемыми как для доступа к устройству, так и для работы функции инспекции SSL.

По сетевым настройкам здесь есть востребованные в сегменте возможности — можно создавать дополнительные интерфейсы (в частности VLAN, мост, бонд, VPN, VXLAN), распределять их по зонам, настраивать маршрутизацию через шлюзы.

Предусмотрены функции серверов DHCP и DNS. Для более производительных моделей может быть интересна возможность организации независимых виртуальных маршрутизаторов.

Для работы с аккаунтами пользователей и групп в дополнение к локальным аккаунтам предусмотрена интеграция с каталогами AD, LDAP, RADIUS и другими. Есть возможность входа через Captive-портал и поддержка MFA (TOTP, электронная почта, SMS).

Для обработки трафика есть две группы политик. Первая относится непосредственно к сетевым уровням — задаются правила для традиционного межсетевого экрана, правила маршрутизации (поддерживается как статическая маршрутизация, так и динамические протоколы RIP, OSPF, BGP и другие) и трансляции адресов, а также управления полосой пропускания.

Дополнительно здесь же реализованы функции балансировщика нагрузки по протоколам TCP/UDP и через обратный прокси.

Политики безопасности уже относятся к более высоким уровням сетевого обмена. Фильтрация контента работает с наиболее распространенным сегодня веб-трафиком. В его правилах можно использовать категории URL из обновляемой базы, а также фильтровать контент с использованием морфологии.

Как и в других аналогичных решениях, для упрощения настройки сервисов и политик используется технология объектов (в терминологии производителя — библиотек). В частности, это касается сетевых адресов, сервисов, профилей, приложений, типов контента, расписаний и так далее. При этом часть из них может быть встроенными и с автоматическим обновлением от вендора.

Веб-безопасность позволяет ограничить использование браузера по времени, автоматически блокировать рекламу и социальные сети, а также использовать безопасный поиск. Устройство умеет инспектировать трафик и в некоторых типах туннелей, что повышает общий уровень защиты.

Решение поддерживает как традиционный межсетевой экран уровня L3/L4, так и возможность обнаружения приложений на уровне L7. Обновляемая база сигнатур приложений позволяет строить правила для строгого контроля работы пользователей и сервисов. На момент подготовки материала в списке было представлено более 1700 программ (полный список доступен на сайте разработчика).

С учётом повсеместного шифрования трафика SSL (для сайтов, электронной почты и других сервисов) в межсетевом экране не обойтись без функции его расшифровки и проверки. Однако это может мешать работе некоторых приложений, а также создаёт высокую нагрузку. Так что администратор может создать специальные правила для исключения доверенных источников из проверки. Отдельно отметим здесь поддержку алгоритмов ГОСТ. Предусмотрены и специальные настройки для протокола SSH, включая блокировку SFTP и выполнения команд. Аналогичным образом настраиваются и правила работы системы обнаружения вторжений — с учётом зон, адресов и сервисов.

Сценарии позволяют более гибко настраивать работу устройства благодаря автоматизации определённых действий. В качестве примера разработчики приводят схему, когда для пользователя ограничивается полоса пропускания при обнаружении запуска им определённых приложений.

Обработка почтового трафика включает в себя защиту от спама как по спискам DNSBL, так и встроенным агентом. Дополнительно предусмотрена возможность пересылки трафика на внешние сервера ICAP, например для проверки системой DLP.

Две последние страницы в этом разделе — настройка системы защиты от DoS. В правилах указываются источник, получатель, пользователь, расписание и другие параметры. А в профиле уже назначаются пороги уведомлений и отбрасывания пакетов для SYN, UDP и ICMP. Можно также ограничить сверху общее число сессий.

Для реализации удалённого доступа к защищённым сервисам используется технология порталов, на которых можно опубликовать ресурсы различных типов и протоколов. В этом же разделе настраиваются правила и серверы обратных прокси.

Объединение локальных сетей или подключение удалённых пользователей может осуществляться с использованием технологий VPN на базе протокола IPSec. Есть несколько предустановленных профилей, что упрощает подключение к оборудованию других производителей.

Заключение

Обеспечение сетевой безопасности сегодня является одной из важных задач для ИТ-подразделений организаций. Решения UserGate предоставляют администраторам широкие возможности по управлению трафиком, контролю доступа и защите локальных сетей и конечных устройств от современных угроз. С точки зрения сетевого администрирования здесь есть все актуальные для данного сегмента технологии. При этом продукты обеспечиваются регулярными обновлениями баз и сигнатур, а также имеют встроенные средства для автоматизации реакции на события информационной безопасности.

Модельный ряд межсетевых экранов нового поколения UserGate позволяет подобрать устройство под любой уровень нагрузки. Напомним также, что продукты могут функционировать не только в автономном режиме, но и быть включены в экосистему кибербезопасности для более эффективной и разносторонней защиты всех компонентов ИТ-инфраструктуры. В плюсы решений отнесём также поддержку отечественных стандартов, наличие сертификатов от контролирующих организаций и включение в реестры российской продукции.

За последние несколько лет российский рынок виртуализации серьезно изменился: после ухода зарубежных компаний — в первую очередь, VMware, чьи решения занимали более 80 % рынка — у отечественных разработчиков появилась возможность занять освободившееся пространство. Этим попытались воспользоваться десятки компаний, но о существовании большей их части напоминают только строчки в реестре отечественного ПО от Минцифры.

Сделать систему виртуализации относительно несложно, даже студенту старших курсов под силу создать на базе открытого ПО простенький гипервизор с минимальной обвязкой. Создать гибкую, масштабируемую, безопасную и управляемую платформу виртуализации — то есть именно то, что требуется бизнесу и крупным структурам, включая государственные — невероятно сложно. И даже если начинать всё не с нуля, а взять за основу какой-то открытый общедоступный проект, вся ответственность за сопровождение, развитие и доработку под нужды заказчиков всё равно ложится на разработчика. Именно поэтому крупных игроков на этом рынке не очень много.

В России же есть своя специфика. После ухода западных игроков и отлучения их клиентов от технической поддержки и обновлений остро стоит вопрос перехода на отечественные решения, которые должны по возможности не отставать по функциональности и надёжности от уже привычных виртуальных сред, иметь развитую поддержку и обходиться не в заоблачные суммы, а в ряде случаев ещё и давать возможность создавать аттестованные системы. Это ещё сильнее сокращает выбор.

В итоге тех, кто готов всерьез заместить на рынке иностранные решения, можно пересчитать по пальцам, и в этом году одним из наиболее активных игроков был «Базис». Компания выпустила значимые обновления флагманских продуктов своей экосистемы, представила рынку несколько примечательный кейсов — в частности, с Газпромбанком и ВТБ, — и по итогам исследования аналитического агентства «ТМТ консалтинг» российского рынка виртуализации была признана крупнейшим игроком по доле рынка.

Источник изображений: «Базис»

Что же предлагает «Базис»? Импортонезависимую экосистему, флагманские решения которой обеспечивают классическую виртуализацию — от простых развёртываний и VDI до целых геораспределённых облаков, — а также ряд целевых решений для работы с Kubernetes-кластерами, построения DevOps-конвейера, резервного копирования. Перечисленное дополняют сертифицированные ФСТЭК средства защиты виртуальных сред, инструменты миграции и репликации данных, а также сервисы внедрения и поддержки. Об основных особенностях, архитектуре и возможностях экосистемы «Базиса» и пойдёт речь.

Basis Dynamix

Первым флагманским решением экосистемы компании является Basis Dynamix, который представлен в трёх конфигурациях: Standard, Enterprise и Cloud Control. Все они являются модульными и различаются набором компонентов и возможностей. Архитектура платформы включает несколько «слоёв»: управление, вычисления, хранение и сеть. Они при необходимости масштабируются независимо друг от друга.

Общим компонентом всех конфигураций Dynamix является vCore, а сертифицированных конфигураций — еще и Virtual Security. vCore предоставляет функции гипервизора I типа со всем необходимым окружением для реализации функций платформы, о которых будет сказано ниже. В старших конфигурациях помимо vCore допускается использование сертифицированной ОС. Программное решение Virtual Security отвечает за доверенную загрузку ВМ, контроль целостности и изоляции, регистрацию и аудит событий безопасности, управление доступом по ролевой модели, идентификацию и аутентификацию пользователей. Он нужен в первую очередь для создания защищённых решений.

Аппаратно же инфраструктура делится на:

• узлы управления, отвечающие за оркестрацию и мониторинг;
• вычислительные узлы, на которых запускаются гипервизоры, виртуальные машины и контейнеры, а также работают виртуальные маршрутизаторы;
• узлы хранения (программно-определяемые на мощностях x86) или внешние СХД/SAN (iSCSI/FC/NFS).

Все они объединены коммутаторами в сеть данных и в сеть управления. Последняя, например, включает и IPMI/BMC-порты всех узлов. При наличии достаточных аппаратных ресурсов нетрудно сформировать и отказоустойчивую HA-конфигурацию. Более того, возможно и формирование геораспределённых облаков, растянутых на несколько удалённых площадок.

Из важных нововведений в мажорном релизе, в рамках которого было представлено четвёртое поколение Basis Dynamix можно отметить несколько функций. Так, платформа теперь знает о NUMA-системах, что важно при размещении виртуальных машин, т.к. обращаться к памяти соседнего CPU может быть дорого с точки зрения производительности. Ещё одна полезная опция, CPU Pinning, позволяет привязать ВМ к ядрам или процессорам так, что вся нагрузка будет выполняться именно на них, не попадая и не перемещаясь на другие ядра или CPU. Из ВМ можно сформировать Affinity-группу, которая будет (или не будет) пытаться работать на одном узле. Есть и возможность управления переподпиской для узла и ресурсных групп. Также появилась опция поддержки больших страниц памяти Huge Pages (2 Мбайт или 1 Гбайт) и проброс в ВМ виртуальных функций (VF) для сетевых адаптеров с SR-IOV. Впрочем, есть и проброс PCIe-устройств, в том числе GPU. Можно выделить один vGPU на каждую ВМ.

С физическими хранилищами платформа общается либо нативно (через драйвер или API), полностью управляя всем жизненным циклом LUN’ов на СХД, либо через универсальную прослойку. Внутри LUN’ов формируются группы виртуальных дисков, а сами диски могут быть загрузочными, для хранения данных или образами. Есть функции резервного копирования дисков и моментальных снимков ВМ. Наконец, за сетевую функциональность отвечают виртуальные маршрутизаторы и балансировщики нагрузки, а сами сети делятся в первую очередь на внешние (физические) и внутренние (для взаимодействия внутри платформы). Также есть полезная сущность в виде группы с плавающим IP-адресом (нескольким ВМ может быть присвоен один IP).

Все вышеперечисленные объекты — ВМ, диски/образы, сети, балансировщики, vGPU, проброшенные PCI-устройства, VF и т.д. — формируются в так называемые ресурсные группы, для которых можно задать уровень переподписки и квоты по суммарному количеству vCPU и IP-адресов, объёму RAM и виртуальных томов, которые будут доступны для создания ВМ в рамках группы, а также дать или запретить доступ к некоторым функциями гипервизора. Кроме того, можно запретить создание выбранных объектов в рамках группы.

В рамках ресурсной группы возможно создание т.н. базовых служб, т.е. одной или нескольких групп полностью идентичных ВМ, развёртываемых, запускаемых и управляемых одновременно. Это удобно для быстрого развёртывания или обновления заданного комплекта сервисов или приложений и может стать основой, например, для PaaS. В составе платформы уже есть готовый шаблон для создания Kubernetes-кластеров, но вообще конкретно для этой задачи компания предлагает отдельное решение Digital Energy, о котором ниже.

Каждая ресурсная группа принадлежит к одному т.н. аккаунту, самому верхнему объекту в иерархии платформы. Аккаунт может включать несколько ресурсных групп, для которых также задаются ограничения на создание объектов, включаются функции гипервизора, определяются коэффициент переподписки и квоты. Но также здесь ограничивается и доступ к виртуальным дискам и образам. К аккаунту привязываются пулы хранения, сети и группы плавающих IP. И к нему же привязываются пользователи и администраторы, которые заводятся локально или же приходят по LDAP или OpenID Connect (SSO тоже можно организовать). Доступна двухфакторная аутентификация посредством TOTP и SMS. Для пользователей, как обычно, задаются права доступа к объектам и REST API посредством ACL.

И раз уже упомянули про API, то надо сказать, что здесь их довольно много. Это позволяет автоматизировать часть операций или более гибко управлять ими, создавать пайплайны для обслуживания платформы и т.д. Кроме того, доступна и поддержка Terraform/OpenTofu/Ansible и в принципе возможна реализация подхода IaC (Infrastructure as Code), формирование CI/CD-окружений и т.д. В максимальной конфигурации Cloud Control, которая рассчитана уже на развёртывание полнофункционального облака (в том числе публичного) на базе нескольких ЦОД и с широким ассортиментом IaaS/PaaS/SaaS и окружений/сервисов, появляется возможность самообслуживания (развёртывание в несколько кликов готовых инфраструктур, от ВМ до виртуальных ЦОД), биллинг, автоматизация бизнес-процессов, формирование отчётности и т.п.

Отличия Dynamix Standard, Enterprise и Cloud Control кроются в первую очередь именно в возможностях масштабирования и функциональности, а также в политике лицензирования и возможности сертификации ФСТЭК. Конфигурация Standard рассчитана на небольшие компании или филиалы. Она умеет работать только с vCore, не поддерживает управление Kubernetes и предлагает более упрощённую в сравнении с другими конфигурациями среду управления vControl. Лицензируется Standard по количеству двухсокетных узлов.

Конфигурация Enterprise ориентирована на крупные организации с частными корпоративными облаками, в том числе для госслужб и КИИ. Именно в ней реализована вся описанная выше ключевая функциональность и есть более гибкое управление всем программно-аппаратным комплексом. Лицензируется она по суммарному объёму RAM, поскольку это единственный ресурс, для которого сделать переподписку без ущерба чему-либо не представляется возможным, и по «сырой» ёмкости узлов хранения. Также оплачивается возможность нативной работы с совместимыми внешними хранилищами. Наконец, конфигурация Cloud Control лицензируется по сокетам. Её в принципе можно рассматривать как расширение Enterprise-версии, актуальное для облачных провайдеров.

Разработчик готов адаптировать Enterprise-платформу под нужды конкретного заказчика и сам, строго говоря, использует её в качестве основы для двух других решений. Но об этом мы поговорим чуть ниже, а пока рассмотрим два важных комплементарных продукта: Virtual Security и Virtual Protect.

Basis Virtual Security

Basis Virtual Security — это решение для защиты систем виртуализации и облачных платформ, у которого есть сертификация ФСТЭК и которое предназначено для создания аттестованных систем. Строго говоря, решение совместимо не только с продуктами «Базис», но и с другими системами виртуализации на базе KVM/QEMU. А сейчас компания и вовсе готовит более специализированные сборки Dynamix с Virtual Security, т.е. отдельные среды виртуализации с заданной функциональностью и набором опций защиты.

Под защитой понимается в первую очередь контроль изоляции и доступа, проверка целостности и журналирование событий безопасности (с возможностью экспорта во внешние системы), но не, например, антивирус или система обнаружения вторжений, для которых требуются сторонние продукты. Basis Virtual Security включает агенты, которые устанавливаются непосредственно на вычислительные узлы. Они постоянно отслеживают состояние аппаратной части, ВМ и гипервизора, а также осуществляют мониторинг всего общения на сетевом и канальном уровнях (для обеспечения подлинности соединений), взаимодействия ВМ с данными, внешним миром и между собой.

Для ВМ ведётся подсчёт и сравнение контрольных сумм файлов конфигурации, виртуального BIOS/UEFI и исполняемых файлов гостевой ОС, а также выбранных файлов/путей в гостевой ОС. Причём делается это и во время создания/запуска ВМ, и во время работы/миграции. Также учитывается, какие программные компоненты вообще могут запускаться. Кроме того, в случае развёртывания Virtual Security в сертифицированной ОС доступна проверка цифровых подписей программных модулей внутри неё (например, вендорских). Наконец, обеспечивается контроль доступа к API защищаемых систем и к СУБД Postgres Pro.

Ещё одна функция Basis Virtual Security — это управление пользователями, их идентификация и аутентификация, распределение прав доступа к объектам, действиям и параметрам, сегментирование виртуальной инфраструктуры на уровне пользователей и ВМ на логическом (выбранные ВМ) и физическом уровне (выбранные вычислительные узлы), а также резервное копирование конфигурации виртуальной инфраструктуры.

Для удобства работы доступен SSO с поддержкой LDAP (в том числе федеративных и с Kerberos) и OpenID Connect. Более того, доступна даже интеграция с ЕСИА. Всё это значительно упрощает работу с множеством пользователей и позволяет, например, наладить централизованное управление паролями и аккаунтами (в том числе и неактивными). Для дополнительной защиты входа есть двухфакторная аутентификация с использованием OTP или токенов.

Basis Virtual Protect

Basis Dynamix предоставляет базовые возможности по защите данных вроде мгновенных снимков ВМ или резервного копирования виртуальных дисков, но этого может быть недостаточно. Посредством API платформы можно гибко настроить собственную систему резервного копирования, но гораздо проще воспользоваться готовым решением. Basis Virtual Protect как раз и предназначено для регулярного резервного копирования и восстановления кластеров Kubernetes, ВМ, отдельных дисков ВМ и файлов/директорий внутри ВМ на платформе Dynamix, а также управления жизненным циклом резервных копий. Решение можно развернуть в виде кластера Kubernetes, на сервере или в ВМ.

Для кластеров Kubernetes доступно сохранение конфигурации кластера, самого кластера целиком или отдельных пространств имён, меток, ресурсов, включая PV-тома (для них делаются снимки), или групп ресурсов. Созданные резервные копии сжимаются и отправляются в любое S3-хранилище. Собственно говоря, помимо просто резервирования механизм позволяет перенести или клонировать кластеры внутри облачной платформы или организовать переезд на другую платформу.

Для работы с ВМ на узлы гипервизора устанавливается отдельный модуль ядра. В случае Dynamix список ВМ подтягивается автоматически. Для ВМ доступен выбор дисков, которые будут копироваться, причём после создания одной полной копии возможно инкрементальное копирование. Хранятся копии во внешнем NFS-хранилище или в собственном хранилище Dynamix. Как и с кластерами, резервные копии можно использовать для клонирования или миграции ВМ. Для резервирования файлов или директорий внутри ВМ устанавливается отдельный агент.

Virtual Protect позволяет задать пользователей и группы пользователей с ролевой моделью доступа. При этом само решение подключается к аккаунтам Dynamix. Наконец, планировщик позволяет задавать расписание для создания резервных копий, давая возможность выбрать дни недели и время. Для части операций, например, для создания резервных копий блочных устройств ВМ, восстановления из резервной копии, создания расписания резервного копирования, Virtual Protect предоставляет API. Лицензируется решение по объёму защищаемых данных, кластерам Kubernetes и виртуальным дискам.

Basis Digital Energy

Как и было упомянуто выше, Basis Digital Energy — это как раз пример того, что можно сделать самостоятельно на платформе Dynamix Enterprise, но проще получить полностью готовое Dev(Sec)Ops-окружение для непрерывной разработки и развёртывания (CI/CD), удобного управления Kubernetes-кластерами и мониторинга — пиши, собирай, тестируй, внедряй, масштабируй. В общем, данное коробочное решение можно назвать K8s PaaS.

На практике же Basis Digital Energy позволяет в несколько кликов развернуть кластер, состоящий из постоянно пополняющегося списка провязанных между собой приложений и инструментов, среди которых есть GitLab, Jenkins, Istio, HashiCorp Vault, Nexus, Harbor, Monit и т.д. А для максимального удобства можно рядышком развернуть корпоративный чат, таск-трекер, установить плагины в IDE и т.п. При этом решение самостоятельно отслеживает установку, обновление и работу всех компонентов и инструментов и выявляет возможные проблемы, заранее предупреждая о них.

Основное преимущество Basis Digital Energy — это простота работы с окружением и отход от рутинных задач, не связанных напрямую с разработкой, а также возможность наиболее полно использовать имеющиеся аппаратные ресурсы. Решение в целом можно использовать с любым провайдером Kubernetes-кластеров, но конкретно с Dynamix Enterprise оно интегрировано лучше всего — как раз в выбранных ресурсных группах привязанных аккаунтов и происходит вся инфраструктурная «магия». Digital Energy позволяет завести пользователей и группы пользователей с ролевой моделью доступа, а также задействовать возможности Virtual Security для управления и защиты доступа и Virtual Protect для резервного копирования.

Basis Workplace

Basis Workplace — второе флагманское решение экосистемы «Базис», которое предлагает полноценную VDI-платформу, позволяющую безопасно подключаться к виртуальным рабочим столам, терминальным серверам, отдельным приложениям или физическим ПК под управлением Windows или Linux с клиентов под управлением опять-таки Windows или Linux (причём в любых комбинациях) по протоколам VNC, RDP и RX (Etersoft). При этом доступны поддержка GPU (актуально, например, для CAD/CAE), обмен файлами с клиентом и общий буфер обмена, кроссплатформенная печать, а также проброс USB (например, ключей или веб-камер), смарт-карт/токенов (ESMART Token ГОСТ, Рутокен ЭЦП 2.0, eToken, JaCarta) и аудио (и вход, и выход).

Basis Workplace предлагает довольно гибкую систему управления пользователями и их группами, но доступна и интеграция с внешними LDAP-серверами (в том числе со множеством доменов), включая Active Directory, FreeIPA, OpenLDAP, ALD Pro и SambaDC, а также работа с пулами ресурсов VMware, Openstack и «Р-Виртуализация». Но, конечно, наилучшая интеграция доступна именно с Basis Dynamix или vCore. Архитектурно платформа состоит из бэкенда, диспетчера подключений, агента для гостевых систем и клиента. Для первых двух компонентов возможно множественное развёртывание, что обеспечивает горизонтальное масштабирование платформы — разработчик говорит об обслуживании 16 тыс. подключений! Также доступно HA-развёртывание на нескольких хостах и даже формирование геораспределённой VDI-инфраструктуры.

Клиенты подключаются не напрямую к ресурсам, а через диспетчер подключений. Это одновременно и дополнительный уровень защиты, и балансировка нагрузки. Для аутентификации пользователей можно использовать логин-пароль и/или X.509-сертификат (на смарт-карте или токене) или их сочетание, а также логин/пароль + OTP. Доступен даже сквозной вход: аутентификация в Workplace по сертификату на смарт-карте с последующей авторизацией в гостевой ОС (только Linux) по паролю с той же смарт-карты. Причём управлять паролем на смарт-карте в этом случае можно непосредственно из Workplace. Кроме того, в систему заводятся и устройства доступа (ПК, ноутбук, тонкий клиент), для которых при первом подключении генерируется уникальный HWID на основе ID основного «железа». При попытке замены, например, накопителя Workplace просто не допустит устройство.

Для паролей пользователей можно указать срок действия, включить принудительную смену при первом входе, задать словарь (какие символы допустимы), а также количество попыток ввода неверного пароля до автоматической блокировки пользователя. Пользователей можно объединить в группы для удобства распределения прав. Кроме того, Workplace позволяет объединять в отдельные локальные группы пользователей из внешних каталогов, над которыми прямого контроля у администратора Workplace нет. Для администраторов, к слову, тоже предусмотрено несколько ролей с различными правами доступа.

Виртуальные рабочие столы формируются на базе заранее созданных пулов ресурсов (ресурсных групп) vCore, VMware, Openstack и «Р-Виртуализация». Есть три типа рабочих столов: персонализированные, сессионные и физические.

Персонализированные создаются на основе индивидуальных шаблонов (образов виртуальных дисков) с уникальной конфигурацией под конкретные задачи. Такие рабочие столы закрепляются за каждым пользователем, а при завершении их работы все внесённые изменения сохраняются. Полуавтоматический пул рабочих столов формируется из одного-единственного шаблона. Рабочие столы точно так же закрепляются за конкретными пользователями и сохраняют состояние при завершении работы.

К сессионным рабочим столам, тоже создаваемым из единого шаблона, будут иметь доступ все пользователи пула, а изменения рабочего стола при завершении работы могут как сохраняться, так и не сохраняться в зависимости от настроек самого пула. Для сессионного пула есть опция создания столов на базе легковесных копий виртуального диска исходного шаблона. Для такого пула также доступен горячий резерв, то есть заранее созданные рабочие столы, доступные для подключения пользователей. Ещё одна опция — закрепление за пользователем определённого IP внутренней виртуальной сети, что может быть полезно для управления доступом к другим ресурсам по сети.

Для пулов отдельно задаётся тайм-аут неактивности пользователя, после которого он будет отключён от рабочего стола, и тайм-аут выключения стола (для экономии ресурсов). Также можно ограничить доступ к определённым функциям (аудио, печать, буфер обмена и т.д.), причём по отдельности для подключений из внутренней корпоративной сети и извне. Рабочие столы можно переносить между пулами, а вот миграция между хостами делается уже силами платформы виртуализации. Есть и очевидные ограничения вроде невозможности переноса стола, привязанного к GPU, на хост без GPU.

Пулы терминальных серверов (Windows и Linux) имеют в целом примерно те же параметры и возможности, что и пулы рабочих столов. На терминальных серверах разворачиваются серверы приложений и публикуются необходимые приложения, которые также объединяются в пулы. К последним и подключаются конечные пользователи. Такой подход упрощает администрирование и позволяет повысить эффективность использования ресурсов, если набор приложений не очень большой и типовой для конкретной организации.

Наконец, пулы физических рабочих столов формируются из физических ПК или рабочих станций под управлением Windows, введённых в домен AD и снабжённых агентом Workplace. Для них доступны все те же опции и ограничения, что и для виртуальных рабочих столов. Это опять-таки повышает защиту и уровень контроля над инфраструктурой, упрощает мониторинг действий пользователей и аудит. Лицензируется Workplace по конкурентным терминальным сессиям и по рабочим столам (персональным или конкурентным) + понадобится лицензия на Dynamix Standard для развёртывания инфраструктуры.

Basis Workplace Security

Решение Basis Workplace Security нужно для дополнительной защиты доступа к рабочим столам, локальным и терминальным приложениям, виртуальным и физическим машинам и иным объектам защищаемой инфраструктуры путём формирования контуров безопасности. Решение состоит из двух компонентов: сервера безопасности, который целиком отслеживает и контролирует работу клиентских систем, и собственно клиентских терминалов. Терминал формируется путём установки защищённой ОС на базе Linux на устройство пользователя (с доверенной загрузкой) или же её запуска с Live-USB. При этом администратором удалённо контролируется целостность самого терминала и его ПО, сетевая активность и доступ к периферийным устройствам (например, съёмным накопителям и принтерам).

На терминале также можно организовать локальные, изолированные друг от друга контуры безопасности для запуска отдельных приложений или рабочих столов. Практически это реализуется формированием контейнеров и контролем за информационными потоками, в том числе сетевыми интерфейсами. Это позволяет, к примеру, организовать в рамках одного рабочего места и «нормальное» окружение с доступом в Интернет, работой с локальными файлами и т.д., и защищённый доступ к внутренним ресурсам организации так, чтобы перенести данные из них вовне было невозможно.

Терминалы напрямую или через VPN подключаются к серверу или кластеру серверов безопасности Basis Workplace Security. На серверах заводятся контуры безопасности и их группы, устройства пользователей, сами пользователи и их группы — любые два объекта данных типов можно связать друг с другом. Доступна интеграция с внешними LDAP-каталогами, а также двухфакторная аутентификация по сертификату на смарт-карте/токену и паролю. Для пользователей задаются правила формирования пароля и срок их жизни, длительность сессий и т.п. Сервер безопасности помимо собственно контроля доступа также ведёт детальную запись действий пользователей и событий безопасности. Лицензируется Workplace Security по конкурентным терминальным сессиям.

Basis Migration Assistant и Basis Guard

Basis Migration Assistant и Basis Guard разрабатываются внешними командами, но адаптированы и интегрированы с экосистемой Basis. Migration Assistant предназначен для автоматизированной миграции нагрузок или целой инфраструктуры между физическими и/или облачными платформами и системами виртуализации, в том числе зарубежными, без остановки работы. Guard, в свою очередь, предлагает асинхронную репликацию виртуальной инфраструктуры на резервную площадку, а также запуск нагрузок (ВМ) на ней в случае сбоя основной площадки.

Заключение

В экосистему «Базис» входит практически весь спектр инструментов, нужных для построения современной виртуальной инфраструктуры. К исключениям можно отнести, например, инструменты построения программно-определяемых сетей, редко встречающиеся на российском рынке, но они уже в работе, и выпуск бета-версии SDN от «Базиса» ожидается в этом году.

Вопрос компетентной технической поддержки заказчика на всех этапах — слабое место большинства российских вендоров. «Базис» решает этот вопрос с помощью подразделения Professional Services, оказывающего услуги консалтинга, помощь в миграции и развёртывании комплексных инфраструктур, сопровождение продуктов экосистемы и т.д. Как результат, у компании уже есть более 700 клиентов, и их количество постоянно растёт. Среди наиболее громких проектов — миграция в экосистему «Базис» Газпромбанка, Ростелекома и, главное, ГосТеха. На платформе компании уже развёрнуто более 120 ИС и ГИС, десятки тысяч виртуальных рабочих столов и сотни тысяч ВМ. Кроме того, на продуктах экосистемы «Базис» российские производители, такие как «Скала^р», создают программно-аппаратные комплексы (ПАК), оптимизированные под высокие нагрузки. Попробовать решения «Базиса» может любая компания — достаточно оставить заявку на тест-драйв — однако полностью оценить все возможности экосистемы сможет именно крупный бизнес.

AMD продемонстрировала преимущества чиплетной компоновки ещё в первом поколении EPYC (Naples), однако в следующих поколениях гомогенная компоновка сменилась гетерогенной, с отдельным чиплетом, отвечающим за все нужды, связанные с операциями ввода-вывода.

Так было в Rome, так было в Milan, Genoa и Bergamo, а теперь пришло время посмотреть, что же изменилось в анонсированных буквально на днях EPYC 9005 (Turin), и хватит ли этого, чтобы ещё раз закрепить звание лидера в области создания многоядерных серверных решений.

Источник: AMD

В первую очередь это, конечно же, пришествие в серию EPYC пятого поколения вычислительной архитектуры Zen, некоторое время назад уже дебютировавшей в процессорах AMD Ryzen потребительского класса. Как известно, в Zen 5 AMD неплохо поработала над увеличением эффективности — показатель IPC (число исполняемых за такт инструкций) вырос примерно на 17 %. За этим кроются довольно серьёзные изменения в микроархитектуре, носящие, впрочем, эволюционный характер.

Ядро Zen 5 получило новый блок предсказания ветвлений, унифицированный планировщик, блоки выборки и декодирования инструкций были разделены на два кластера для оптимизации SMT (любопытно сравнить с подходом Intel, движущейся к отказу от SMT вообще).

Ускорен и увеличен в объёме кеш первого уровня, подросли в объёме таблицы трансляции адресов, да и сама вычислительная часть расширилась с ростом числа поддерживаемых инструкций. В частности, в Zen 5 реализована полноценная поддержка AVX-512 с честной 512-бит обработкой данных.

Но вернёмся именно к новым EPYC 9005. Первенство Intel Xeon 6 (Granite Rapids и Sierra Forest) по количеству ядер продлилось крайне недолго: AMD вновь вернула себе лидерство, руководствуясь простой формулой: 50 % прироста в числе ядер + на 25 % увеличенный теплопакет + переход к архитектуре Zen 5/5c при сохранении совместимости с существующей аппаратной экосистемой.

Как и EPYC предыдущего поколения (Genoa и Bergamo), новые процессоры Turin используют разъём SP5 (LGA-6096), рассчитанный на 12-канальную подсистему памяти и 128 линий PCI Express 5.0. В случае двухпроцессорной компоновки системной платы часть из последних задействуется для межпроцессорной коммуникации.

Интересно, что на этот раз отдельное имя для высокоплотного варианта процессора не используется: версии EPYC 9005 действительно имеют разную компоновку CCD-чиплетов с ядрами Zen 5 и Zen 5c, а также разные идентификаторы модели (00-0Fh и 10h-1Fh соответственно), но кодовое имя у них одно, хотя встречается и вариант Turin Dense.

Опубликованные ранее сведения о 16 восьмиядерных чиплетах для классической версии и 12 шестнадцатиядерных чиплетах для высокоплотного варианта Turin подтвердились. Чиплеты действительно сгруппированы по четыре и три блока (квадранта) соответственно.

Сами чиплеты переведены на техпроцессы TSMC 4 и 3 нм, что и позволило добиться очередного по счёту прироста в числе ядер. По этому показателю высокоплотная версия Turin даже преодолела 128-ядерный барьер, что для x86-процессора происходит впервые.

Внутренняя структура CCX имеет существенные различия: по сути, CCX определяется единым разделом кеша L3, а он у вариантов на базе Zen 5 и Zen 5c одинаковый и имеет ёмкость 32 Мбайт. Иными словами, каждое ядро Zen5c потенциально располагает меньшим количеством кеша (2 Мбайт против 4), но такова плата за более плотную компоновку.

Блок IOD (I/O Die) по-прежнему один, хотя и серьёзно переработанный для поддержки большего числа подключаемых CCD. Подключение осуществляется посредством GMI3-линков, которые работают на частоте 1,8 ГГц. Они вдвое быстрее GMI2, использовавшихся в серии процессоров EPYC 7003.

Имеется два режима работы: GMI3-Narrow для конфигураций с 12 и 16 чиплетами и GMI3-Wide для процессоров, у которых активно только 8 CCD (пропускная способность от CCD к IOD возрастает вдвое). Четыре xGMI-линка могут использоваться для обмена данными со вторым процессором в случае 2S-конфигурации. Новый IOD обеспечивает гибкие возможности в плане бифуркации линий SerDes и назначения им специфических функций.

Модуль IOD обеспечивает Turin поддержку 128 линий PCI Express 5.0 в однопроцессорном режиме и до 160 — в двухпроцессорном. Четыре x16-линка могут использоваться как 64 линии CXL 2.0 (Type 1, 2, 3) и до 32 IO-линий могут быть сконфигурированы в качестве интерфейсов SATA. Последний интерфейс сегодня стремительно теряет актуальность, и его поддержка реализована AMD в основном для внутриплатформенной совместимости.

AMD также постаралась максимизировать эффективность работы подсистем ввода-вывода в принципе, понимая всю важность каналов, связывающих CPU со всевозможными ускорителями в эпоху ИИ и LLM. EPYC 9005 в полной мере поддерживают DMA и P2P-соединения, при этом не забыта и безопасность: реализовано шифрование PCIe-трафика в рамках SEV-SNP.

Также интерес представляет технология SDCI, позволяющая I/O-устройствам писать данные прямо в кеш-иерархию, минуя DRAM, что снижает нагрузку на подсистему памяти и потенциально увеличивает эффективность обмена данными между процессором и ускорителями.

В процессорах Xeon 6 Intel серьёзно обошла AMD по параметрам подсистем памяти: даже Sierra Forest получили поддержку DDR5-6400 (5200 при 2DPC), а Granite Rapids даже поддерживают новомодные MRDIMM DDR5-8800, причём при 12 каналах. Процессоры AMD EPYC были ограничены поддержкой DDR5-4800 в лучшем случае, пусть и при аналогичном количестве каналов.

Но пришествие Turin восстанавливает практический паритет: каналов памяти по-прежнему 12, однако платформа теперь поддерживает DDR5-6000, а для некоторых кастомных платформ AMD собирается разрешить поддержку DDR5-6400. Экзотику вроде MCRDIMM/MRDIMM в текущем виде EPYC 9005 не поддерживает. Вместо этого компания планирует наделить будущие EPYC поддержкой нового стандарта памяти, как только он будет ратифицирован JEDEC.

Впрочем, и без учёта возросших частот, которые сами по себе могли бы обеспечить 20–25 % прирост пропускной способности, нововведений хватает: новые контроллеры памяти существенно эффективнее старых, они поддерживают модули с коррекцией ошибок x80 и x72, умеют выполнять повторную попытку чтения UECC, поддерживают 3DS RDIMM суммарным объёмом 6 Тбайт на процессор.

Пиковая пропускная способность при этом может достигать 576 Гбайт/с, что выше показателя NVIDIA Grace (72 ядра, 500 Гбайт/с), но ниже, нежели у сдвоенного Grace Superchip (144 ядра, 1 Тбайт/с). Латентность при этом отнюдь не выросла и составляет примерно те же 110 нс, что и у контроллеров памяти в EPYC предыдущего поколения, работающих с модулями DDR5-4800.

Как уже упоминалось, в EPYC 9005 полностью реализована поддержка CXL 2.0 для всех трёх существующих типов устройств, но упор сделан на работу с устройствами Type 3 в качестве расширителей RAM. Предусмотрены поддержка уровней иерархии, возможность комбинирования CXL-устройств в общий NUMA-домен, функции QoS с разделением полос пропускания для DRAM и CXL-памяти и т.д. AMD постаралась обеспечить как можно более высокую производительность CXL при минимальных задержках, но насколько хорошо работают эти нововведения в сравнении с, к примеру, Xeon Granite Rapids, могут показать лишь тесты.

Если речь зашла о NUMA, нельзя не упомянуть, что EPYC 9005 могут работать в разных режимах в зависимости от значения NUMA Nodes Per Socket (NPS) в BIOS. Значение 0 в двухсокетной системе означает монолитную конфигурацию с одним доменом NUMA на всю систему. Память при этом работает в режиме чередования (interleaving) как единое адресное пространство. Оба процессора имеют равный доступ ко всей памяти и всем физически подключенным устройствам PCIe/CXL.

Значение 1 даёт два домена, 2 делит каждый процессор на два домена, а 4 представляет каждый «квадрант» процессора как отдельный NUMA-домен, включающий 4 CCD у Zen 5 и по 3 CCD у Zen 5c. Выбор настройки зависит от сценария использования и конкретики используемого ПО.

Также следует отметить расширенный набор средств обеспечения надёжности и стабильности работы (RAS). К уже реализованным в предыдущем поколении EPYC добавилась удаленная обработка ошибок через выделенный канал (out of band error management) и автоматическая подмена сбойных ячеек DRAM на резервные рабочие. Список поддерживаемых возможностей RAS широк.

В отличие от Intel, AMD представила сразу 27 моделей EPYC 9005, с количеством ядер от 8 до 192. Следует сразу отметить, что новые техпроцессы и усовершенствованная архитектура очень позитивно сказалась на частотной формуле EPYC: если ранее частота в турборежиме редко переваливала за отметку 4 ГГц, то у EPYC 9005 это в порядке вещей.

Исключением являются лишь модели с ядрами Zen 5c, но даже для них этот параметр составляет 3,7 ГГц, чему сопутствуют и соответствующие теплопакеты в 320–500 Вт. Отметим, что в последнем случае требуется обновление подсистем питания платформы, так как прежде максимальный TDP не превышал 400 Вт. Новая серия EPYC по-прежнему включает отдельные модели, рассчитанные на работу в однопроцессорных системах, они имеют в названии суффикс «Р».

Суффиксом «F» отмечены модели с расширенной частотной формулой, в которой нижний предел составляет не менее 3,1 ГГц, а верхний приближается к отметке 5 ГГц. Эти процессоры также располагают максимальным объёмом кеша L3. В совокупности с частотами это делает EPYC 9005F оптимальным выбором для сценариев с поядерным лицензированием ПО.

В сети уже опубликованы первые результаты тестов новых серверных процессоров AMD: к примеру, обозреватели с ресурса Phoronix успели провести тесты сразу трёх новинок — EPYC 9755 (128 ядер Zen 5, 4,1 ГГц турбо), 9575F (64 ядра Zen 5, 5 ГГц турбо) и 9965 (192 ядра Zen 5c, 3,7 ГГц турбо). Результаты впечатляют: сочетание Zen 5 в серверной ипостаси с повышенными тактовыми частотами сделали своё дело и новинки AMD плотно оккупировали первые места практически во всех номинациях.

Источник: Phoronix

Кое-где, например, в тесте OpenSSL, отлично проявил себя Turin Dense (EPYC 9965), ведь он опережает Intel Xeon 6700E не только по количеству ядер (192 против 144), но и при этом сами ядра, несмотря на плотностную оптимизацию, являют собой полноценную реализацию Zen 5, а не упрощённую версию «большой архитектуры», как в случае с Е-ядрами Intel. По итогу три первых места принадлежат решениям AMD, и лишь на четвёртое место смогла претендовать система с Xeon 6980P, оснащённая высокоскоростными модулями MRDIMM-8800. Она же, оснащённая обычной DDR5-6400, смогла достойно выступить лишь против одиночного EPYC 9755. Для двухпроцессорной системы с EPYC 9755 отрыв от аналогичной платформы на базе Granite Rapids составил в среднем 40 %.

Что касается высокоплотного EPYC 9965, то он на 45 % оторвался от двухпроцессорной сборки на базе флагманских EPYC 9754 Bergamo, несмотря на меньшее количество ядер (192 против 256). Сказалась новая архитектура и серьёзный прирост по тактовым частотам. С энергопотреблением у новинок AMD, конечно, дела обстоят не столь впечатляюще, как у Intel Xeon 6700E (Sierra Forest), но и ненамного хуже, а EPYC 9755, несмотря на монструозный теплопакет в 500 Вт, всё же оказался экономичнее Xeon 6980P. Его потолок энергопотребления действительно составил 500 Ватт, в то время как флагман Intel в пике потреблял почти 550 Вт.

При этом карта Intel бита даже там, где «синие» всегда были непобедимы — теперь и у AMD есть полноценная поддержка AVX-512, равно как и 192-ядерный ответ 144-ядерному Xeon 6700E. Капиталовложения для перевода инфраструктуры с EPYC четвёртого поколения на пятое при этом могут быть относительно невелики. В большинстве случаев задача ограничивается прошивкой нового BIOS и заменой самих процессоров. Производители серверного оборудования встретили новинки AMD с энтузиазмом и, по всей видимости, доля компании на серверном рынке будет расти и далее.

Из козырей, остающихся на руках Intel на данный момент, можно назвать лишь наличие специфических блоков ускорителей, а также поддержку расширений матричной математики AMX. В некоторых сценариях, например, в серверах для телекоммуникаций это поможет Xeon удержать позиции, но в большинстве других нагрузок EPYC Turin смотрятся намного выигрышнее. Тем более что стоят новые серверные процессоры AMD заметно дешевле решений Intel.

SOHO-маршрутизатор — утилитарный предмет, о характеристиках которого если и задумываются, то обычно в аппаратном контексте: поддерживаемая версия Wi-Fi, количество антенн, качество сигнала и пропускная способность. Операционную систему, установленную производителем, принимают как данность. Но хотя программное обеспечение тоже развивается, если поставить во главу угла богатство возможностей, свободу настройки и гарантию длительных обновлений, ОС с открытым исходным кодом порой выигрывает у вендорской прошивки.

Увы, даже OpenWrt — самое популярное и всеядное решение такого рода — поддерживает не каждый маршрутизатор, особенно если речь идет о свежих моделях. В этом случае резонно выбирать «железо» под нужное ПО, а не наоборот, и тогда взгляд переходит с черных пластиковых коробок на мини-ПК и одноплатные компьютеры. Среди них Banana Pi BPI-R4 занимает особое место благодаря адаптеру Wi-Fi 7 (802.11be), и альтернативных вариантов для OpenWrt пока просто не существует. В то же время это первый и пока единственный продукт на платформе MediaTek Filogic 880. SinoVoip и MediaTek разработали его совместно.

Технические характеристики, цены

В отличие от готовых маршрутизаторов, Banana Pi BPI-R4 — своего рода материнская плата будущего маршрутизатора. А значит, чтобы получить полностью функционирующую систему, все ее составляющие придется купить по отдельности и собрать воедино своими руками. Выбор комплектующих определяет и возможности маршрутизатора, и предстоящие затраты.

В основе платформы Filogic 880 лежит процессор MediaTek MT7988A с четырьмя ядрами ARM Corex-A73, которые работают на частоте 1,8 ГГц, а также блоками аппаратного ускорения таких функций, как NAT, VLAN, QoS и туннели PPTP/L2TP. SoC пользуется 4 Гбайт оперативной памяти DDR4. Набортные накопители представлены чипом SPI-NAND объемом 128 Мбайт и 8 Гбайт памяти eMMC. Устройство также имеет считыватель карт microSD, несколько внутренних разъемов PCIe 3.0 (в том числе для NVMe SSD) и работает с периферией по интерфейсу USB 3.2 Gen 1 (USB 3.0). Титульной особенностью BPI-R4 являются два 10GbE-порта SFP+. Еще четыре порта RJ45 (8p8c), подключенные к интегрированному в SoC коммутатору, ограничены скоростью 1GbE. Для WAN-соединения можно использовать как SFP+, так и RJ45.

Плата продается за 9 787 руб. в магазине SinoVoip на AliExpress. Добавьте недорогой кулер, по желанию — корпус, и ее уже можно использовать в качестве маршрутизатора или файлового сервера, только без Wi-Fi. Да, беспроводной адаптер — это тоже отдельный компонент, но самое интересное начинается именно тогда, когда BPI-R4 работает в тандеме с дочерней картой BPI-R4-NIC-BE14.

Последняя представляет собой трехдиапазонный модуль с формулой MIMO 3×3:3 на частотах 5 и 6 ГГц и поддерживает ключевое нововведение Wi-Fi 7 — ширину канала 320 МГц в диапазоне 6 ГГц, которая увеличивает теоретическую скорость передачи данных в два раза по сравнению с предыдущим стандартом, Wi-Fi 6E. Еще одна прорывная функция Wi-Fi 7 — MLO — позволяет комбинировать пропускную способность нескольких диапазонов в соединении с одним устройством. Наконец, при очень высоком качестве сигнала Wi-Fi 7 переходит на модуляцию 4096-QAM, которая сама по себе дает прирост скорости еще на 20 %.

Как следствие, в идеальных условиях BPI-R4-NIC-BE14 развивает совокупную канальную скорость в трех диапазонах вплоть до 13,7 Гбит/с (маркетинговый класс BE14000), а если отталкиваться от клиентских адаптеров с двумя потоками, то речь идет о 5 765 Мбит/с в диапазоне 6 ГГц.

Полный комплект BPI-R4 с беспроводной картой, корпусом, системой охлаждения и антеннами в настоящий момент стоит 20 896 руб. без учета доставки. Внушительная сумма для такого устройства, как SOHO-маршрутизатор. Но все зависит от того, с чем сравнивать, ведь готовые аналоги с поддержкой Wi-Fi 7 и хотя бы одним портом 10GbE у ASUS или Netgear стоят больше $500, не говоря уже о сложностях покупки в России.

Впрочем, очаровываться дешевизной тоже не советуем. Брендовый маршрутизатор работает из коробки, а BPI-R4 — это полуфабрикат, программное обеспечение которого целиком держится на усилиях энтузиастов. Разницу в цене придется отдать трудом, быть может, не в качестве разработчика, но тестировщика — определенно. В официальной документации устройство так и называется — development board. Поэтому, если у вас нет хотя бы начального понимания сетевых технологий, опыта работы с Linux и избытка свободного времени, но хочется испробовать Wi-Fi 7, лучше задумайтесь о покупке готовых решений.

Плата BPI-R4 и модуль Wi-Fi 7

Компьютер собран на компактной печатной плате размером 148 × 100,5 мм и поставляется в трех версиях. Стандартная несет два порта SFP+, в другой LAN-порт SFP+ поменяли на RJ45 2.5GbE, в третьей он поддерживает PoE (на вход питания). Класс PoE не указан, но максимальная мощность PoE-модуля составляет 30 Вт.

Теоретически порты SFP+ готовы принять трансиверы любой среды (витая пара или оптоволокно) и ONU/ONT для PON cо скоростью передачи данных от 1 до 10 Гбит/с, но на практике все не так просто. Во-первых, BPI-R4 нужно, чтобы трансивер давал сигнал о присутствии без питания, а некоторые этого не делают (как, например, MikroTik S+RJ10). Во-вторых, не исключена программная идиосинкразия уже на уровне ОС. Лучше заранее проконсультироваться с форумом Banana Pi или купить заведомо подходящие трансиверы у SinoVoip. Что не должно вызвать проблем, так это пассивные DAC. Судя по отзывам пользователей, отлично работает и большинство медных либо оптических трансиверов 1/2.5GbE. Хуже всего обстоят дела с поддержкой модулей PON.

Чип MT7988A имеет четыре линии PCIe 3.0, распределенные по разъемам M.2 и PCI-E. Разъем M.2 B-key на лицевой поверхности PCB, который также подключен к концентратору USB 3.2, предназначен для модема 4G/5G. На нижней стороне находится разъем M.2 M-key и крепежные отверстия для SSD различной длины — вплоть до 80 мм. Одна линия PCI Express 3.0 имеет пропускную способность 8 ГТ/с и не даст файловому серверу работать на скорости 10GbE-сети, но это все равно лучше, чем 5 Гбит/с внешнего порта USB 3.2 Gen 1 (USB 3.0).

Однако стоит иметь в виду, что если на планке SSD форм-фактора M.2 2280 чипы распаяны с двух сторон, то корректному монтажу помешает высокий SMD-индуктор — в таком случае нельзя закручивать винт до конца, иначе SSD деформируется. Есть и другая проблема: к разъему M.2 зачем-то подвели шину I2C, поэтому установка некоторых SSD способна вызвать массу неприятностей, в первую очередь отключение портов SFP+. Заверим, что этого не происходит с Intel SSD 760p, но в противном случае придется выпаять резисторы R228 и R230 рядом с разъемом, которые можно найти по электрической схеме с сайта SinoVoip или фотографии на форуме. В будущих партиях BPI-R4 их уже изначально не будет.

Вместо SSD разъем M.2 можно занять и другими устройствами. BPI-R4 официально поддерживает контроллер USB 3.2 Gen 1 (USB 3.0) на чипе ASMedia ASM2142 и SATA-контроллер JMicron JMB585. USB-плате и SATA-накопителям нужно дополнительное питание, но эту функцию берет на себя разъем с контактами 5 и 12 В. Также есть разъем для подключения активного кулера с PWM. Наконец, есть разъем для батареи RTC.

BPI-R4 поддерживает загрузку ОС как со встроенной памяти eMMC либо NAND, так и с карты microSD — источник меняется переключателем. Правда, SD и eMMC привязаны к общему контроллеру SoC, поэтому для установки ОС на eMMC придется сперва загрузиться с NAND. Возможность загрузки с SSD технически существует, но еще не реализована в связи с отсутствием NVMe-драйвера для U-boot. Есть и разъем последовательного интерфейса UART для доступа к консоли, а также 26 контактов GPIO.

Если исключить PoE, питание на плату поступает через бочковой или соседний штыревой разъем с диапазоном напряжения от 12 до 19 В. Другой вариант — USB Type-C, который берет 20 В по стандарту Power Delivery. Производитель утверждает, что энергопотребление BPI-R4 без дополнительных устройств не превышает 10 Вт, но советует использовать источник питания помощнее для работы с модулем Wi-Fi 7. В магазине SinoVoip есть лишь блок питания 12 В / 2 А, поэтому выбор ложится на плечи покупателя.

К паре разъемов mini PCI-E присоединяются модули Wi-Fi или еще два сотовых модема. Последняя конфигурация необычна, но заранее продумана, ведь каждому модему выделен собственный слот nano-SIM. Маршрутизатор допускает установку сторонних беспроводных адаптеров, лишь бы нашелся драйвер, но задуман как единое устройство с картой BPI-R4-NIC-BE14 на контроллере MediaTek MT7995AV и PHY-чипах MT7976CN и MT7977IAN, без дискретных усилителей.

Последняя занимает сразу два слота mini PCI-E (а значит, две линии PCIe 3.0) и питается от напряжения 12 В. Для mini PCI-E это нестандартное напряжение, поэтому его нужно активировать переключателем. BPI-R4-NIC-BE14 имеет три разъема для антенн на частоте 6 ГГц и еще три, которыми точки в диапазоне 2,4 и 5 ГГц пользуются одновременно.

SinoVoip и MediaTek изначально собирались выпустить более развитую плату с 14 антеннами и поддержкой MIMO 4×5 (BPI-R4-NIC-BE19), которая изображена на первой блок-схеме, но ее пришлось отложить на будущее. Впрочем, клиентские адаптеры с поддержкой даже трех пространственных потоков — большая редкость. Такие точки доступа полностью раскрываются лишь в активной многопользовательской среде.

Корпус и антенны

SinoVoip предлагает два корпуса для BPI-R4 — акриловый и алюминиевый, который вы можете лицезреть на фотографиях. Шасси имеет очень скромные габариты по сравнению со многими домашними маршрутизаторами (159 × 104 × 41 мм) и, несмотря на индустриальный внешний вид, изготовлено очень качественно. Для всех индикаторов, кнопок и внешних интерфейсов (включая UART и переключатель загрузочных устройств) сделали аккуратные отверстия. Лотки SIM-карт также подходят к корпусу с идеальной точностью, но SinoVoip не советует вставлять их в разъемы пустыми из-за опасности повреждения контактов.

К корпусу прилагаются силиконовые ножки и винты для крепления платы маршрутизатора. А вот никакие средства вертикального монтажа на стену или перфорированную панель не предусмотрены.

Корпус служит радиатором для карты BPI-R4-NIC-BE14, которая продается с термопрокладками, заранее приклеенными к микросхемам. Но толщины прокладок не хватает, чтобы заполнить зазор между чипами и днищем корпуса (примерно 2,5 мм), поэтому лучше сразу поменять их на подходящие. Или, на худой конец, сделать толще, сдавив по периметру. Если вы будете использовать SSD, не забудьте и о термопрокладке для него.

Для охлаждения MediaTek MT7988A и чипов RAM мы выбрали фирменный кулер с PWM-управлением скоростью вентилятора. Работает он практически бесшумно. Корзины SFP+ охлаждаются по остаточному принципу, но это проблема лишь для некоторых «медных» 10G-трансиверов, которые лучше не использовать в таких условиях.

Пожалуй, единственная претензия к металлическому корпусу состоит в том, как тесно он охватывает плату BPI-R4 по бокам. Пигтейлы антенн сложно подвести к плате Wi-Fi, даже если это кабель диаметром 1,13 мм. RG178 (самый толстый коаксиальный кабель под разъем U.FL/IPEX) тоже проходит, но уже впритык. Всего на боках корпуса есть 14 отверстий для разъемов SMA — с расчетом на грядущую плату BPI-R4-NIC-BE19.

В магазине SinoVoip можно приобрести набор из шести антенн и пигтейлов для BPI-R4. Насколько хороши радиохарактеристики антенн, сказать не можем, ведь у них нет никакого технического паспорта. Отметим лишь то, что единственная 6 ГГц-антенна (либо трехдиапазонная) с открытым описанием и результатами испытаний может стоить столько же, сколько весь этот комплект целиком.

Программное обеспечение

BPI-R4 поставляется с копией OpenWrt, установленной на чип NAND. У нас она по какой-то причине не загрузилась, но не беда, ведь ОС можно (и по большому счету нужно) развернуть самостоятельно на SD-карте, eMMC или NAND. Что касается выбора системы, то, хотя сама платформа BPI-R4 не накладывает особых ограничений, реалистичным вариантом является только Linux. Работа над FreeBSD пока не дошла даже до успешной загрузки, не говоря уже о драйверах всех устройств MediaTek. SinoVoip предлагает готовые образы на основе OpenWrt, Ubuntu 22.04, 24.04, а также Debian 11 и 12.

Фирменная сборка OpenWrt содержит проприетарный драйвер беспроводного чипа MediaTek, который поддерживает все заманчивые функции Wi-Fi 7, включая ширину канала 320 МГц на частоте 6 ГГц и MLO. Две другие точки доступа (2,4 и 5 ГГц) также могут работать в режиме IEEE 802.11be, но с соответствующими ограничениями полосы пропускания. Меню настройки радиомодулей содержит огромное количество параметров, которые в стандартном интерфейсе OpenWrt недоступны и меняются только через конфигурационные файлы.

SinoVoip добавила в сборку массу опционального ПО: SMB-сервер, клиенты VPN, SOCKS-Proxy и т. д. И все же эта версия ОС является лишь демонстрацией возможностей BPI-R4 и плохо подходит для повседневной эксплуатации, поскольку основана на устаревшей версии OpenWrt 21.02, а значит, не дает установить новые пакеты через opkg. Надеяться на обновление из первых рук не стоит. SinoVoip сделала «железо», а дальше вы в свободном плавании. И еще один момент: SD-карту обязательно нужно забить нулями перед записью официальной OpenWrt — иначе будут ошибки.

К счастью, актуальная OpenWrt поддерживает BPI-R4 на уровне snapshot (нестабильные ежедневные сборки) и включает драйвер MediaTek MT7995/MT7996 с открытым исходным кодом, а ход работы освещается на форуме OpenWrt. Последние сборки уже достигли лучшей производительности Wi-Fi, чем OpenWrt с закрытым драйвером, поэтому именно их мы использовали во всех бенчмарках.

Однако ряд функций платформы Filogic 880 еще недоступен. В частности, отсутствует RSS/LRO для агрегации входящих пакетов, отчего трафик, адресованный BPI-R, ограничен скоростью 4,6 Гбит/с. Не действует аппаратная инкапсуляция туннелей, аппаратный QoS, криптографический ускоритель EIP-197 (а значит, IPsec, TLS и DTLS в «железе»), а на стороне Wi-Fi —модуляция 4096-QAM и MLO. WED (Wireless Ethernet Dispatch) позволяет разгрузить ядра SoC при передаче трафика между проводной сетью и Wi-Fi и может быть активирована вручную наряду с аппаратным ускорением NAT, но в наших тестах не оказала заметного влияния на пропускную способность.

Энергопотребление и температура

Хотя производитель рекомендует использовать более мощный источник питания, чем 12 В / 2 А, для BPI-R4 с дочерней картой Wi-Fi 7, в действительности энергопотребление устройства намного меньше. При питании комплекта BPI-R4 и BPI-R4-NIC-BE14 через бочковой разъем с напряжением 12 В мультиметр зарегистрировал ток 0,7 А (то есть 8,4 Вт), когда устройство бездействует. Маршрутизация через туннель L2TP с большой нагрузкой на ядра SoC увеличила ток всего лишь до 0,75 А (9 Вт). Максимальную величину в 1 А (12 Вт) мы получили при дуплексной передаче данных в диапазоне 6 ГГц. Естественно, результат был бы совсем иным, если бы мы дополнили систему прожорливыми компонентами — такими как SSD или 10G-трансиверы. Например, среднее энергопотребление, которое указывают создатели устройства в протоколе внутренних испытаний при использовании карты Wi-Fi 7 и «медного» трансивера 10BASE-T, составляет 21,6, а пиковое — 23,9 Вт.

Фирменный алюминиевый кулер с PWM-вентилятором удерживает температуру MediaTek MT7988A в пределах 53 °С при длительной нагрузке, а вот охлаждению карты Wi-Fi нужно уделить повышенное внимание. Температура PHY-чипов не превышает 62–68 °С, но это после смены штатных термопрокладок на GELID GP-Extreme подходящей толщины.

Результаты тестирования: проводная сеть

Для тестов использовался компьютер с процессором Ryzen 9 7950X3D и двухпортовой сетевой картой Intel X540-T2. Порты SFP+ на маршрутизаторе BPI-R4 соединялись DAC с коммутатором MikroTik CRS305-1G-4S+IN, а при помощи 10-гигабитных трансиверов MikroTik S+RJ10 мы перешли на короткие патч-корды UTP Cat 6. Сети WAN и LAN изолированы друг от друга на коммутаторе.

Каждый порт Intel X540-T2 проброшен через PCI Passthrough к собственной виртуальной машине в Proxmox VE 8.2. Системой на стороне WAN является Ubuntu 24.04 с сервером ACCEL-PPP. На стороне LAN — также Ubuntu 24.04. Каждой ВМ выделено 4 ядра CPU и 8 Гбайт оперативной памяти. Измерение пропускной способности между двумя ВМ выполнено утилитой iPerf 3.

OpenWRT на BPI-R4 в данный момент не позволяет задать MTU выше чем 2030. Мы оставили значение по умолчанию — 1500. В настройках маршрутизатора было включено аппаратное ускорение NAT, а также Packet Steering для распределения транзитного трафика по четырем ядрам SoC.

В режиме простого маршрутизатора с NAT пропускная способность BPI-R4 стремится к 10 Гбит/с и мало отличается от тех величин, которые мы получили в контрольном тесте при прямом соединении портов X540-T2. Ощутимо меньшую скорость обеспечивает подключение PPPoE, но, когда счет идет на несколько Гбит/с, не исключено, что узким местом стало ПО на серверной стороне.

BPI-R4 продемонстрировал выдающееся быстродействие туннелей PPTP и L2TP — вплоть до 2 Гбит/с и выше, хотя отдельные результаты широко варьируют в зависимости от избранного протокола и метода шифрования. Не хуже L2TP работают и потребительские протоколы при условии многопоточной оптимизации. В этой задаче устройству очень пригодились четыре процессорных ядра, как показывает скриншот ниже, ведь инкапсуляцию трафика и криптографию система пока осуществляет программно, без специализированной логики SoC.

Результаты тестирования: Wi-Fi

Прежде чем мы обсудим работу BPI-R4 в беспроводной сети, надо рассказать о том, как поживает клиентская инфраструктура Wi-Fi 7. Из сетевых карт с поддержкой EHT320 покупателям доступны три модели: Intel BE200 (и ее CNVio-разновидность BE201), Qualcomm NCM865, а также MediaTek MT7927. Последнюю начали устанавливать на материнские платы, но ее еще трудно купить в рознице. А вот с Intel BE200 и Qualcomm NCM865 мы поработали на практике и можем поделиться впечатлениями.

BE200 является самым распространенным и дешевым вариантом (голая карта без адаптера и антенн продается на AliExpress за сумму немногим больше 1,5 тыс. руб.), но вместе с тем и самым ограниченным. Начнем с того, что, пусть BE200 имеет стандартный интерфейс PCIe, а не проприетарный CNVio, устройство не работает в системах AMD с разъемом AM4 или AM5. Мы не нашли в интернете ни одной истории успеха и сами не сумели запустить BE200 на плате Asus ROG Crosshair X670E Hero с последней прошивкой.

А главное, даже владельцам чистокровных интеловских систем в России (и не только) не гарантирован доступ к диапазону 6 ГГц и, следовательно, ширине канала 320 МГц. Дело в том, что BE200 (а также AX210 для стандарта Wi-Fi 6E) использует технологию LAR/DRS, чтобы понять, в какой стране находится компьютер, и открыть частоты, разрешенные местным законодательством. Но кроме того, LAR/DRS должна найти сертификат региона в UEFI. К несчастью для россиян, хотя диапазон 5,9–6,4 ГГц уже давно выделен под гражданские нужды, производители материнских плат и лэптопов забыли о необходимости добавить в прошивку нужный сертификат.

Возможно, бывают счастливые исключения из этого правила — мы будем рады узнать о них от читателей. В противном случае есть грязный способ обмануть LAR/DRS. Алгоритм определяет регион по большинству точек доступа с открытым SSID, поэтому нужно создать на маршрутизаторе столько виртуальных AP (в любом диапазоне) с кодом нужного региона, чтобы перевесить соседские сети. Тогда BE200 подумает, что находится, к примеру, в США. Эстетически решение отвратительно, но спам точек доступа хотя бы происходит на одном канале и минимально засоряет эфир, а жители частных домов вообще могут без него обойтись.

Увы, даже тогда, когда BE200 обнаружил сеть 6 ГГц, нам не удалось подружить его с BPI-R4. После подключения к точке доступа IEEE 802.11be адаптер сбрасывает прием до 6 Мбит/с, и таким он остается. Некоторые пользователи на форуме OpenWrt говорят о совершенно нормальной работе и скоростях вплоть до 2,8 Гбит/с, но нам пришлось поставить крест на BE200 и обратиться к альтернативному варианту от Qualcomm.

NCM865 лишен ограничений, свойственных BE200, однако за этот модуль придется отдать на AliExpress не меньше 4 801 руб. Другой недостаток NCM865, помимо высокой цены, — ленивое обновление драйверов. Последняя версия в каталоге Windows (3.1.0.1323) датирована 10 августа, и у нее есть неприятная особенность: очень часто адаптер не может установить соединение 802.11be и откатывается до 802.11ax. Драйвер версии 3.1.0.1262 от 21 мая не имеет такой проблемы, поэтому именно его мы использовали в тестах. Впрочем, не стоит забывать, что в нашей ситуации самой подозрительной частью системы является программное обеспечение BPI-R4, а не беспроводных адаптеров.

Первые пользователи Wi-Fi 7 могут рассчитывать на то, что эфир 5,9–6,4 ГГц будет свободен от чужих точек доступа. Маршрутизатор автоматически установил канал 57, но мы получили чуть лучшие результаты на основном канале 65. В обоих случаях система выбирает Center Frequency Index 63 (см. таблицу каналов), то есть пропускная полоса EHT320 распространяется с 6 105 до 6 425 МГц, аккурат подходя к верхней границе гражданского диапазона.

Тестирование было выполнено при использовании шифрования WPA3 на расстоянии 3 м между маршрутизатором и клиентским NIC в прямой видимости, а результатом стала пропускная способность вплоть до 2,5 Гбит/с. Такие числа далеки от теоретической скорости передачи данных 5 765 Мбит/с, но уже впечатляют, особенно если сделать скидку на новизну технологии и сырое ПО.

Также заметим, что в ходе испытаний MSC Index на прием и передачу колебался от 8 до 10, а это при двух пространственных потоках означает максимальную канальную скорость 4 324 Мбит/с (см. таблицу MCS). Только MSC 12–13 позволяет задействовать модуляцию 4096-QAM, но настолько качественный сигнал не получить без дорогостоящих антенн.

Более доступным способом увеличить пропускную способность является MLO. Жаль, что функция еще не поддерживается открытым драйвером MediaTek. В фирменной сборке OpenWrt от SinoVoip она есть, но не дает никакого прироста пропускной способности (по крайней мере с адаптером Qualcomm).

На частоте 6 ГГц в режиме HE160 (802.11ax) скорость достигла 1,3 Гбит/с, но это еще нельзя считать поводом для гордости, учитывая сравнительно короткую дистанцию связи и пустой частотный диапазон.

В нижней части диапазона 5 ГГц, напротив, существует интерференция со стороны других точек доступа. Пусть в России доступны каналы от 132 до 169, из них нельзя сформировать непрерывную полосу 160 МГц, поэтому тест пришлось выполнить на основном канале 56. К счастью, это не помешало добиться скорости 1,22 Гбит/с, которая в данном случае скорее характеризует чистоту эфира, нежели связку «точка доступа — клиент». Но у нее есть ценное практическое значение, ведь только избранные пользователи могут похвастаться домашним WAN-каналом шире 1 Гбит/с, а миграция клиентских устройств на частоту 6 ГГц — дело небыстрое.

Диапазон 2,4 ГГц в большинстве жилищ давно переполнен, но важен тем, что он способен обеспечить непрерывность покрытия на крупной площади. Для этой задачи использовать каналы шириной 40 МГц нерационально, и все же мы выполнили такой бенчмарк, получив достойный результат вплоть до 330 Мбит/с.

Во всех дуплексных тестах прием у BPI-R4 резко преобладает над передачей, что расходится с результатами внутреннего тестирования SinoVoip и точечными контрольными тестами, которые мы провели на официальной сборке OpenWrt. Спишем этот артефакт на издержки открытого драйвера MediaTek.

Напоследок коснемся работы в Linux, хотя подробного освещения эта тема не заслуживает. В Ubuntu 24.04 и бета-версии 24.10 с ядром 6.11 пропускная способность Qualcomm СNCM865 уперлась в 1 Гбит/с, а у Intel BE200 есть все старые проблемы и одна новая: сеть 6 ГГц появляется в графическом интерфейсе только после принудительного сканирования командой «iw dev <имя_интерфейса> scan».

Результаты тестирования: SMB и iSCSI

Отсутствие RSS и LRO режет скорость входящего трафика, но даже в задаче чтения с Intel SSD 760p файловый сервер выдал с проводным подключением лишь 451 Мбайт/с — меньше половины теоретического максимума одной линии PCIe 3.0. При подключении по Wi-Fi 7 скорости последовательного чтения и записи с QD 8 явно ограничены каналом связи, а дополнительная латентность ударила по тестам с короткой очередью команд.

SMB, 10GbE

SMB, Wi-Fi 7

Впрочем, если выполнить бенчмарк SSD непосредственно на BPI-R4 с помощью fio, то оказывается, что Intel 760p не любит чтение блоками 1 Мбайт — от этого наверняка страдает и производительность файлового сервера. Скорость чтения блоками 128 Кбайт равна 812 Мбайт/с, но такой размер не идеален уже для протокола SMB.

С передачей мелких блоков намного лучше справляется iSCSI. Это мы проверили с помощью штатного инициатора Windows 11, на LUN был создан раздел NTFS. Заодно резко выросла скорость линейного чтения, а вот записи — уменьшилась. Результаты могли быть и лучше с MTU 9000, но полновесные jumbo-кадры включить пока нельзя.

Выводы

Banana Pi BPI-R4 объединяет в компактном форм-факторе передовые для домашнего маршрутизатора технологии — 10-гигабитную проводную сеть и Wi-Fi 7, но, в отличие от решений под известными торговыми марками, изначально рассчитан на открытые ОС, да и стоит несоизмеримо меньше. В этом его сила и одновременно слабость, потому что OpenWrt еще далека от того, чтобы полностью раскрыть возможности платформы Filogic 880, и здесь, к сожалению, многое зависит не только от усилий сообщества, но и от желания MediaTek работать над открытыми драйверами. Сейчас отдельные устройства — маршрутизатор, который легко собрать на базе x86 с pfSense или той же OpenWrt, коммутатор и «глупая» точка доступа Wi-Fi 7 — выполняют свои функции лучше.

Впрочем, SinoVoip не претендует на широкий рынок. BPI-R4 — продукт для разработчиков и энтузиастов, который уже стабильно работает в качестве маршрутизатора, а поддержка Wi-Fi 7 за считаные недели поднялась с нуля до скоростей выше 2 Гбит/с. Клиентской экосистеме нового стандарта нужно избавиться от своих проблем — к тому времени, глядишь, созреет и BPI-R4.

Эпоха отставания Intel в количестве ядер у серверных процессоров, открытая дебютом AMD EPYC 7002 Rome пять лет назад, постепенно уходит в прошлое. Ещё летом компания представила чипы Xeon 6700E (Sierra Forest) со 144 ядрами. Но если Sierra Forest ещё можно было условно считать не совсем «настоящими» Xeon из-за использования исключительно энергоэффективных Е-ядер без SMT, которым противостоят 128-ядерные AMD EPYC Bergamo на базе Zen4c с SMT, то с анонсом Xeon 6900P этого сделать уже не получится. Встречаем Granite Rapids-AP c 128 полновесными P-ядрами!

Источник изображения: Intel

Многое об архитектуре и возможностях Granite Rapids было известно ещё в момент анонса Sierra Forest, но сейчас речь пойдёт о полноценном семействе, в котором на старте представлено пять моделей процессоров с числом ядер от 72 до 128. В этом старшая новинка не уступает даже будущим 128-ядерным AMD EPYC Turin Dense на базе Zen 5, анонс которых вот-вот состоится.

Источник изображений здесь и далее: Intel (via Phoronix/THG)

Благодаря использованию сложных и высокопроизводительных ядер у Intel теперь есть возможность заявить о 2,1-кратном превосходстве над 96-ядерным флагманским AMD EPYC Genoa в нагрузке OpenFOAM, а за счёт поддержки AMX и характерных для ИИ форматов вычислений, таких как FP16, в инференс-сценарии ResNet50 превосходство составляет 5,5 раза.

Intel весьма радикально подходит к вопросу «Великого Разделения», чётко разграничивая оптимальные сферы применения для процессоров с P-ядрами и E-ядрами, хотя с точки зрения ПО разница не столь велика и фактически упирается в отсутствие у E-ядер полноценной поддержки AVX-512 и AMX, что отчасти компенсируется продвинутой реализацией AVX. Тем не менее, Xeon со смешанной конфигурацией компания выпускать в обозримое время не планирует. Отметим также, что Р-ядра лучше подойдут в тех случаях, когда требуется максимальная производительность в пересчёте на поток, что особенно актуально для приложений с поядерным лицензированием.

Новая серия Xeon 6900P может похвастаться ядрами Redwood Cove с поддержкой SMT (HT), что дает 512 потоков на систему с двумя процессорами, а 12-канальный контроллер памяти призван догнать и перегнать по производительности подсистемы памяти, реализованные AMD. Он работает с модулями DDR5-6400, но поддержка MRDIMM позволяет говорить и о скорости 8800 МТ/с.

Ядра включают два блока исполнения набора инструкций AVX-512. Кеш первого уровня состоит из 64 Кбайт для инструкций и 48 Кбайт для данных. Декодер рассчитан на обработку 8 инструкций за такт, такова же пропускная способность конвейера в обработке микроопераций. Сам движок внеочередного исполнения вдвое производительнее того, что реализован в Sierra Forest, и вмещает 512 инструкций.

Впечатляют и объёмы кешей верхнего уровня: каждое ядро Redwood Cove имеет собственный кеш L2 объёмом 2 Мбайт, а размер общего кеша L3 достигает 504 Мбайт — больше могут предложить только AMD EPYC Genoa-X c 3D V-Cache. В двухпроцессорной конфигурации это даёт свыше 1 Гбайт кеша, что наверняка пригодится в HPC и ИИ-сценариях. Каждый процессор Xeon 6900P имеет 96 линий PCI Express 5.0 с поддержкой CXL 2.0, причём всех типов устройств — Type I, II и III. За межпроцессорное общение отвечает сразу шесть линий UPI с пропускной способностью 24 ГТ/с.

Процессоры используют так называемый «большой разъём» (big socket) LGA 7529. Позже Xeon 6 с Р-ядрами будут выпущены и для «малого разъёма» LGA 4710, используемого сейчас чипами Sierra Forest, но случится это не ранее I квартала 2025 года. Это будут решения с меньшим количеством ядер (до 86) и восьмиканальной подсистемой памяти. Тогда же будут освоены и решения с Е-ядрами на LGA 7529, а пока Sierra Forest и Granite Rapids существуют исключительно в рамках своих платформ.

Источник изображения: Intel

Компоновка у Xeon 6900P, разумеется, чиплетная, что также освещалось в обзоре Xeon 6700. Однако теперь мы знаем больше: на презентации новинок Intel показала, что чиплеты с P-ядрами будут двух размерностей: LCC (low core count), ограниченный 16 ядрами, и более крупный HCC (high core count), содержащий уже до 48 ядер. Конфигурация XCC (eXtreme core count) формируется компоновкой двух или трёх чиплетов HCC. Именно последний вариант с тремя тайлами используют все пять моделей Xeon 6900P.

По сути, о Xeon 6900P можно говорить как о NUMA-системе с тремя узлами. Поскольку контроллеры DDR5 расположены в процессорных, а не I/O-чиплетах как у AMD, поддержка разных режимов кластеризации позволяет в некоторых сценариях выиграть в латентности доступа к памяти, а значит, и в производительности. Таких режимов у Xeon 6900P два — HEX и SNC3. Последний реализует сценарий «каждый чиплет обращается к своим DDR-контроллерам».

Интересно, что использована конфигурация с двумя тайлами по 43 активных ядра в каждом, тогда как третий имеет лишь 42 активных ядра. Сделано это, разумеется, для 128-ядерности, но гипотетически ничто не мешало Intel активировать больше ядер и получить чип, обгоняющий EPYC по количеству ядер. Причина, надо полагать, в энергетических аппетитах новинок, которые и со 128 ядрами требуют уже полкиловатта.

Картина латентности при межъядерном взаимодействии у Xeon 6900P специфическая. Общение ядер, принадлежащих крайним чиплетам, не отличается низкими задержками, что закономерно. Можно с уверенность предсказывать несколько более высокие задержки при работе среднего чиплета с внешними устройствами, поскольку I/O-чиплеты расположены буквально по краям CPU.

Чипы, как уже неоднократно отмечалось, более монолитны в реализации, нежели у AMD: чиплеты сшиваются посредством EMIB и используют универсальную модульную меш-сеть. Производятся вычислительные тайлы с использованием техпроцесса Intel 3 в то время как I/O-чиплеты используют более дешёвый и массовый процесс Intel 7. В отличие от аналогичного модуля в AMD EPYC, они отвечают лишь за реализацию интерфейсов UPI/PCIe/CXL и общение с акселераторами DSA/IAA/QAT/DLB.

Открывает новый модельный ряд 72-ядерный Xeon 6960P, который можно назвать своеобразным ответом Intel на NVIDIA Grace (72 ядра в GH200, 144 ядра в Grace Superchip). Впрочем, за всё приходится платить, и в данном случае расплата — возросший до 500 Вт теплопакет. Лишь у модели 6952P с низкой базовой частотой он чуть ниже и составляет 400 Вт. В остальном 6900P весьма похожи, они даже имеют одинаковую в турборежиме частоту, равную 3,9 ГГц для одного ядра и 3,7 ГГц для всех ядер. В настоящий момент это выше показателей AMD EPYC Genoa схожей «ядерности». Все варианты имеют по четыре активных ускорителя каждого типа, 12 каналов памяти, шесть линий UPI и 96 линий PCIe 5.0.

О памяти стоит сказать отдельно. Рост количества каналов и объёма памяти идёт гораздо медленнее, чем рост количества ядер. Это особенно актуально в свете бума ИИ-технологий, которые по своей природе весьма охочи до памяти. Назрела проблема и со скоростями: хотя отчасти она скрашивается переходом на DDR5, но даже Sierra Forest поддерживает лишь DDR5-6400. В Granite Rapids-AP такая память тоже поддерживается, но перспективнее выглядит умение работать с модулями MRDIMM-8800.

Внешне модули MRDIMM (и MCR DIMM) напоминают обычные регистровые модули DDR5, однако использование дополнительного буфера позволяет новым модулям работать в режиме считывания из двух рангов сразу, вместо одного в обычных DIMM. Стоит сказать, что JEDEC лишь планирует к публикации спецификации MRDIMM. Пока преимущество на стороне Intel, но о массовости нового типа памяти говорить рано. Есть вероятность, что реализации поддержки этой памяти со стороны AMD будет отличаться.

Источник: Phoronix

Что касается производительности в целом, то первые результаты также уже имеются: в тестах, проведённых ресурсом Phoronix, платформа, оснащённая двумя флагманскими Xeon 6980P, уверенно заняла первое место, опередив двухпроцессорные сборки с AMD EPYC 9754, 9684X и 9654.

Согласно цифрам, приведённым самой Intel, превосходство шестого поколения Xeon над пятым (Emerald Rapids) 2-3x в чистой производительности, а в пересчёте на ватт составляет от 1,44x до 2,16x в зависимости от типа и характера нагрузки. Стоит отметить, что несмотря на возросший теплопакет, энергоэффективность Xeon 6900P тоже выросла: при типовой 40-% загрузке сервера новые процессоры обеспечивают в 1,9 раза большую производительность на Вт, нежели предыдущее поколение Xeon.

В сравнении с решениями AMD с сопоставимым количеством ядер (EPYC 9754 и 9654, 128 и 96 ядер, соответственно) Xeon 6980P быстрее в 1,2–3,21 раза, причем меньше всего преимущество проявляется в работе с целочисленными данными, и заметно больше — в вычислениях с плавающей запятой, а также в тестах подсистемы памяти.

Подведём промежуточные итоги. В своё время AMD удалось вырваться вперёд в сфере создания многоядерных серверных процессоров именно благодаря перехода на чиплетную компоновку. В немалой степени триумфу «красных» способствовал и затянувшийся до неприличия процесс внедрения 10-нм технологии у Intel. В итоге целых пять лет у EPYC успешно росло количество ядер в то время как «синие», упорно держась за монолитность кристалла, были ещё и ограничены параметрами техпроцесса. Это никак не позволяло уверенно перешагнуть отметку в 64 ядра.

Лишь в Sapphire Rapids удалось реализовать вариант чиплетной компоновки. Хотя она с самого начала и использовала более низкоуровневый принцип сшивки чиплетов, вплоть до последнего использовался не самый удачный гомогенный вариант с большими универсальными чиплетами. И только в поколении Xeon 6 дебютировал гетерогенный вариант с вынесенной в отдельные чиплеты I/O-частью, что в сочетании с освоенными тонкими техпроцессами позволил совершить Intel рывок, сокративший отставание от AMD.

Теперь у Intel есть не только козырь в виде высокопроизводительной архитектуры и специфических блоков-ускорителей, но и просто «большие» Xeon, способные на равных поспорить с EPYC в количестве ядер. Ситуация интересна ещё и тем, что уже 10 октября AMD готовится официально представить новые EPYC Turin Dense на базе Zen 5, которые тоже получат 128 ядер. Но AMD готовит не только их, но и 192-ядерные EPYC на базе Zen 5c. А как мы знаем, иногда количество превалирует над качеством.

Отставание Intel по количеству процессорных ядер до текущего момента насчитывало уже несколько лет. Компания безнадёжно проигрывала бой за боем — сперва AMD с её EPYC, успешно преодолевшим отметку 64 ядра, а затем и разработчикам серверных процессоров на базе Arm, таким как Ampere Computing.

Прекрасно осознавая эту неблагоприятную ситуацию, компания взялась за разработку Sierra Forest. Впервые анонс этих CPU состоялся более года назад, но лишь на прошлой неделе Intel наконец-то представила это решение в виде готового «кремния». Новые процессоры входят в семейство Xeon 6, что соответствует отказу от бренда Scalable.

Источник здесь и далее: Intel via ServeTheHome

Формально у Intel когда-то были действительно массивные многоядерные чипы. Речь, конечно, про давно умершие Xeon Phi, где благодаря SMT4 удалось довести количество одновременно выполняемых потоков до 244. Но это всё-таки были ускорители, а не процессоры общего назначения.

Интересно, что активно используя гетерогенную архитектуру в настольных и мобильных процессорах, Intel решила чётко разделить серверные чипы именно по типам используемых ядер ещё два года назад. Если в фундамент Sapphire, Emerald и Granite Rapids легли исключительно высокопроизводительные, но относительно сложные и горячие P-ядра, то основой Sierra Forest было решено сделать только простые, но максимально энергоэффективные E-ядра.

Вкупе с переходом от техпроцесса Intel 7 к Intel 3 это позволило нарастить количество самих ядер до 144, а в перспективе и до 288, что хорошо отвечает потребностям современных гиперскейлеров и провайдеров крупных облачных сервисов. Они заинтересованы в масштабируемости, поскольку та позволяет нарастить клиентскую базу, а значит, и увеличить доходы сравнительно «малой кровью». Кроме того, сценарии с использованием ИИ часто благоволят именно многоядерным решениям, была бы поддержка соответствующих форматов вычислений.

Всё это у Sierra Forest есть. В основе новых E-ядер лежит микроархитектура Crestmont (Sierra Glenn), в которой реализованы достаточно развитые подсистемы фронт- и бэкэнда с довольно солидными кешами инструкций (64 Кбайт) и данных (32 Кбайт) на ядро и разделяемым кешем L2 на каждые четыре ядра. Сдвоенный внеочередной декодер способен обрабатывать шесть инструкций, а конвейер — столько же микроопераций за такт. Увеличена глубина истории механизма предсказания ветвлений. Всё это позволяет говорить о производительности до 16 FP32-Флопс за такт.

Преследуя достижение максимальной энергоэффективности новых решений, от поддержки AVX-512 и AMX в Sierra Forest компания отказалась, однако расширенный вариант AVX2 есть: ядра имеют два 128-битных порта для выполнения SIMD-инструкций, в том числе с поддержкой AVX-IFMA и AVX-DOT-PROD-INT8, инструкций CMPccXADD, LAM и LASS, а также форматов INT8, FP16 и BF16. Дополняют картину развитые средства обеспечения безопасности — шифрование с длиной ключа до 2048 бит, технология доверенных доменов TDX, расширения SGX, технология безопасной виртуализации VT-rp и аппаратная защита от эксплойтов CET.

Компоновка у Sierra Forest, разумеется, тайловая. Базовый «кирпичик» включает в себя до 4 ядер, 4 Мбайт кеша L2 и кусок кеша последнего уровня (LLC) объёмом 3 Мбайт. Блок ввода-вывода отвечает за поддержку интерфейсов PCIe 5.0 (до 88 линий, есть поддержка CXL 2.0, в том числе Type 3) и UPI 2.0 (4 линии, 24 ГТ/с). В однопроцессорных системах I/O-подсистема может быть переконфигурирована, что даёт до 136 линий PCIe. Как и у моделей с P-ядрами, поддерживаются аппаратные ускорители DSA, IAA, QAT и DLB. Но их количество зависит от конкретной модели процессора.

Отдельно располагаются контроллеры памяти, их у новинки восемь. Поддерживаются модули DDR5-6400, совокупная пропускная способность — 460 Гбайт/с. Сшивка базовых блоков выполнена с помощью модульной меш-сети, а на уровне тайлов с помощью EMIB. Таким образом, с точки зрения любой системы и прикладного ПО процессоры Sierra Forest монолитны.

Оптимизации по части энергоэффективности вкупе с техпроцессом Intel 3 позволяют говорить о 144 ядрах с общим теплопакетом 330 Вт. И это серьёзный шаг вперёд для Intel, позволяющий говорить о практически трёхкратном превосходстве над предыдущими поколениями Xeon и достижении хоть какого-то паритета с AMD по этому показателю. У 128-ядерного EPYC Bergamo TDP достигает 360 Вт. Впрочем, новейшие Turin Dense на базе 3-нм техпроцесса помогут вернуть «красным» лидерство, уж по количеству ядер на сокет точно.

Согласно новой схеме наименований, процессоры Sierra Forest относятся к серии Xeon 6700E. Изначально она включает семь моделей, имеющих от 64 до 144 ядер с базовой частотой в пределах 1,8–2,4 ГГц и турбо-частотой в пределах 2,6–3,2 ГГц. У двух старших вариантов объём кеша LLC составляет 108 Мбайт, у остальных он равен 96 Мбайт. Все модели, за исключением Xeon 6731E, рассчитаны на работу в двухпроцессорных конфигурациях, что дает до 288 ядер на платформу. Сама платформа использует новый разъём LGA 4710.

Что касается ценовой политики, то она не совсем однозначна. Рекомендованные цены стартуют с отметки $2749 за 64-ядерную модель, но 64-ядерные процессоры AMD с актуальной архитектурой стоят от $4950 (EPYC 8534P). В максимальной же конфигурации цены похожи — $11350 за флагманскую модель против $11900 за EPYC 9754. В теории процессоры выглядят многообещающе, особенно в сравнении с предыдущими попытками Intel догнать по количеству ядер AMD. Так, по энергоэффективности Xeon 6700 превосходят Cascade Lake-SP в 2,6 раза, а производительность в пересчёте на стойку выросла в 4,2 раза, говорит компания.

Тем не менее, теория проверяется только практикой, и специалисты Phoronix уже успели провести полноценное тестирование Xeon 6700. В их руки попали две старшие модели процессоров, 144-ядерные Xeon 6766E и Xeon 6780E. По мнению Phoronix, ближайшим аналогом флагманских Sierra Forest являются 128-ядерные AMD EPYC 9754 с ядрами Zen 4c. Но решение AMD поддерживает SMT, что даёт до 256 потоков, имеет развитую 12-канальную подсистему памяти, хотя и только DDR5-4800, и более ёмкий кеш (256 против 108 Мбайт). Но специализированных ускорителей у EPYC нет. Зато схожи частотные и энергетические характеристики: 2,25–3,1 ГГц при TDP 360 Вт против 330 Вт у флагманского Sierra Forest.

Источник: Phoronix

Детально ознакомиться с обзором можно на сайте Phoronix, но стоит отметить, что в ряде случаев процессоры Sierra Forest выступили удачнее оппонента и практически догнали Xeon Max 9468, а в области энергопотребления уступили лишь моделям AMD EPYC 8004. В единичных нагрузках новинка несущественно отстаёт даже от EPYC 9684X. В среднем 2P-платформа Xeon 6780E оказалась примерно на 5 % быстрее Xeon Platinum 8592+ при 70 % от энергопотребления, но заметно уступила паре AMD EPYC 9754. Однако имеется весомое «но» — практически во всех случаях Xeon 6700 показали лучшую энергоэффективность, уступив лишь EPYC 8004, априори отстающим по количеству ядер.

Но это ещё не всё: действительно серьёзными соперниками и Sierra Forest, и Bergamo являются многоядерные Arm-процессоры. Так что Phoronix сравнил новинки с пусть не самой новой, но всё ещё актуальной платформой на базе Ampere Altra Max M128-30: 7-нм техпроцесс, 128 ядер Armv8.2+ c 1 Мбайт L2-кеша для каждого и общий L3-кеш объёмом 32 Мбайт. Подсистема памяти хотя и восьмиканальная, но использует лишь DDR4-3200. Зато тактовая частота составляет устойчивые 3 ГГц при максимальном теплопакете 250 Вт. Блоков векторных инструкций здесь два, они имеют разрядность 128 бит, но это всё же NEON, хотя есть поддержка форматов вычислений с пониженной точностью, включая INT8.

Источник: Phoronix

Чуда, впрочем, не случилось — система Ampere по средней производительности с треском проиграла современным CPU и от AMD, и от Intel. Однако по средней же энергоэффективности она уступает только Siena. Проблема в том, что прирост потребляемой мощности в случае Ampere не конвертируется линейно в такой же прирост производительности. Однако у данного решения Ampere есть другой плюс — оно практически втрое дешевле флагманского Sierra Forest, если смотреть на рыночные цены. При этом надо помнить, что гиперскейлерам любые компоненты достаются по совсем другим ценам, нежели рекомендованные или розничные. Ampere же тем временем готовит гораздо более интересные AmpereOne: 3 нм, 256 ядер, 12 каналов DDR5.

Смотреть все изображения (15)

Смотреть все
изображения (15)

Тем не менее, 6700E показали великолепный для Intel результат и заинтересовали индустрию — ряд производителей серверного оборудования уже представили свои решения на базе Sierra Forest в одно- и двухпроцессорном варианте. В I квартале 2025 года Intel планирует выпустить 288-ядерную версию Sierra Forest (6900E) с 12-канальной памятью. А в III квартале компания пополнит арсенал процессорами Xeon 6900P (Granite Rapids) на базе P-ядер Redwood Cove, количество которых планируется довести до 128. Тем интереснее будет битва с новыми решениями AMD и многоядерными процессорам Arm.

Интерес корпоративного сектора к аналитическим платформам обусловлен несколькими факторами. Во-первых, такие системы позволяют обрабатывать большие объёмы данных из различных источников и визуализировать их для оценки состояния бизнеса и принятия взвешенных управленческих решений. Во-вторых, благодаря возможностям выявления причинно-следственных связей между различными показателями, BI-инструменты помогают оптимизировать рабочие процессы в самых разных сферах деятельности, будь то управление финансами, маркетинг, торговля, логистика, производство или предоставление услуг. Наконец, подобного рода продукты отличаются высокой эффективностью и, по заверениям экспертов, окупаются максимум за полгода. Это третья причина, по которой всё больше организаций делают выбор в пользу программных комплексов Business Intelligence.

Источник изображения: «Первый Бит» / 1cbit.ru

С уходом из РФ западных IT-игроков российский рынок BI-платформ кардинально изменился: пустующую нишу активно занимают отечественные разработчики, а возросшие риски использования зарубежных продуктов в условиях санкций вынуждают компании пересматривать приоритеты и заниматься импортозамещением ПО. Мы решили не оставаться в стороне от наметившихся в корпоративной среде тенденций и собрали подборку бесплатных российских систем Business Intelligence, которые могут помочь индивидуальным предпринимателям и малому бизнесу добиться существенной экономии при реализации проектов по переходу на отечественный софт.

«Форсайт. Аналитическая платформа». Персональная версия

• Разработчик: «Форсайт».
• Сайт продукта: fsight.ru.
• Поддерживаемые ОС: Windows.

Программный комплекс, предназначенный для формирования отчётности, управления бизнес-процессами, моделирования и прогнозирования показателей, визуализации и оперативного анализа данных, а также создания бизнес-приложений для решения конкретных задач. В составе «Форсайт. Аналитическая платформа» представлено множество инструментов: от средств интерактивного анализа до конструктора сложноформатируемых отчётов, ориентированных на печать. Доступен выбор типов визуализации: от простых (таблицы, карты, диаграммы) до сложных (Bubble chart, Tree Map и проч.). При этом выделять и добавлять данные и исключать их из анализа можно непосредственно на диаграмме или карте.

Аналитические инструменты системы «Форсайт. Аналитическая платформа»

В числе отличительных особенностей «Форсайт. Аналитическая платформа» стоит отметить наличие средств расширенной аналитики, обеспечивающих валидацию и кластеризацию данных, поиск исключений и ключевых факторов, а также анализ ассоциаций и решение прочих задач с использованием библиотеки статистических и эконометрических методов.

Среда разработки «Форсайт. Аналитическая платформа»

Бесплатный вариант BI-платформы содержит все инструменты и расширения флагманского продукта, кроме надстроек для Microsoft Office. Также в дистрибутиве с системой представлен репозиторий c примерами выполнения типовых задач и разработки бизнес-приложений. Персональная версия доступна только в виде настольного приложения, не ограничена по времени использования и предназначена для работы с полным набором функциональных возможностей исключительно в рамках локальной базы данных (SQLite). Взаимодействие с прочими системами управления базами данных (PostgreSQL, Oracle Database, Microsoft SQL Server, Teradata) недоступно, многопользовательский режим работы не поддерживается. Сохранение объектов репозитория и создаваемых проектов возможно только на персональном компьютере пользователя в локальной базе данных.

Analytic Workspace Free

• Разработчик: «ОСТ».
• Сайт продукта: analyticworkspace.ru/startfree.
• Поддерживаемые ОС: любые (решение реализовано в формате облачного сервиса).

Аналитическая cloud-платформа, созданная с прицелом на тех, кто «перерос» Microsoft Excel и присматривается к аналогичным, но более функциональным решениям для обработки данных. Взаимодействие с Analytic Workspace предполагает выполнение четырёх шагов: подключение источников данных, построение логической модели, создание виджетов и настройку аналитической панели. При этом в качестве источников могут использоваться базы данных (Oracle Database, Clickhouse, MySQL, Microsoft SQL, Greenplum, PostgreSQL, Vertica, MariaDB, MongoDB, Red Database, Firebird, OData, «1C»), файлы и архивы с файлами (.xls, .xlsx, .json, .txt, .csv, .xml, .tsv, .xlsb, .ods, .odf, .jsonl), внутреннее хранилище Analytic Workspace на базе Clickhouse и подключаемые посредством API веб-сервисы. Также доступна функция добавления пользовательских JDBC-коннекторов.

Рабочее окружение Analytic Workspace

Analytic Workspace предлагает 26 вариантов встроенных визуальных элементов и возможность создания собственных виджетов с использованием HTML, CSS и JavaScript. Доступна интеграция с библиотекой Apache ECharts, предоставляющей свободный доступ более чем к 400 элементам визуализации данных. Для решения сложных задач в BI-системе реализованы средства прогнозной аналитики на основе машинного обучения.

Free-версия облачного сервиса Analytic Workspace лишена поддержки многопользовательского режима и имеет ряд ограничений: в системе возможно создание только десяти логических моделей и подключение не более 12 источников данных. Объём загружаемой информации из каждого источника лимитирован пятьюдесятью мегабайтами, предельный объём каждой модели не может превышать 524 Мбайт.

Loginom Community Edition

• Разработчик: Loginom.
• Сайт продукта: loginom.ru/blog/about-community-edition.
• Поддерживаемые ОС: Windows, Linux.

Аналитическая платформа уровня Low-code, которая позволяет проводить анализ данных любого уровня сложности без знаний основ программирования. Loginom поддерживает интеграцию с различными источниками, предобработку и консолидацию данных, разведочный анализ, моделирование и прогнозирование, а также визуализацию и интерпретацию данных. Результаты можно просмотреть в самой системе или экспортировать в сторонние платформы Business Intelligence. Таким образом, программный комплекс Loginom может использоваться как для создания автономных аналитических решений, так и для разработки модулей, интегрируемых со сторонними BI-системами.

Рабочее окружение Loginom Community Edition

Включённые в состав продукта аналитические инструменты поддерживают многомерное представление данных в формате так называемых OLAP-кубов, позволяют проводить быструю проверку гипотез и находить в исходном наборе данных дублирующие и противоречивые записи. Также сообщается о поддержке кластеров данных и алгоритмов машинного обучения.

Loginom Community Edition поддерживает импорт из популярных источников данных, таких как СУБД MySQL, Oracle Database, PostgreSQ, Firebird. SQLite и др., приложения Excel и «1C», а также экспорт в ClickHouse, Tableau и XML. Кроме того, в бесплатной версии BI-системы доступны подключение к REST-сервисам и обработка до 16 Тбайт информации. Из ограничений отметим отсутствие инструментов коллективной работы и возможность использования продукта только в личных целях.

Modus BI Cloud (бета-версия)

• Разработчик: «БиАй Продакшн».
• Сайт продукта: modusbicloud.ru.
• Поддерживаемые ОС: любые (решение реализовано в формате облачного сервиса).

Аналитическая cloud-платформа, позволяющая собирать и визуализировать данные из различных источников, создавать отчётность и формировать прогнозы в целях принятия эффективных управленческих решений и мониторинга критически важной для бизнеса информации. Поддерживает работу с Excel-файлами, таблицами Google Sheets, СУБД ClickHouse, PostgreSQL, Vertica, Microsoft SQL Server, базами данных «1C».

Modus BI Cloud имеет широкие возможности интерактивного анализа и визуализации, что позволяет представить данные в виде, удобном для принятия решений. Гибкие настройки фильтрации, агрегации, детализации (Drill-Down, Drill-Up и Drill-Throughthrough) данных предоставляют пользователю возможность просматривать различные срезы аналитики, интерактивно сужать и расширять область анализа, получать как агрегированные, так и детальные данные для проверки гипотез и предположений. Всего в системе насчитывается более тридцати видов визуализации. Поддерживается работа с геокартами. Адаптивная вёрстка отчётов позволяет настроенным отчётам подстраиваться под разрешение экрана и адекватно отображаться как на компьютерных мониторах, так и на мобильных устройствах.

Рабочее окружение Modus BI Cloud

Modus BI Cloud доступен бесплатно в бета-версии, но представляет собой полнофункциональное решение. В скором времени компания-разработчик планирует выпустить коммерческий релиз продукта и ввести несколько тарифных планов с учётом специфики организаций SMB-сегмента. Возможно (но далеко не факт), что в линейке тарифов найдётся место предложению с бесплатным доступом к системе бизнес-аналитики, пусть и с урезанным набором функций.

Yandex DataLens

• Разработчик: «Яндекс.Облако».
• Сайт продукта: datalens.yandex.cloud.
• Поддерживаемые ОС: любые (решение реализовано в формате облачного сервиса).

Cloud-платформа, позволяющая подключаться к различным источникам, описывать модели данных, выполнять аналитические вычисления, строить графики и визуализации, собирать дашборды и обеспечивать коллективный доступ к аналитике. Yandex DataLens умеет извлекать данные из файлов форматов CSV, TXT и Excel. Также поддерживается интеграция с сервисами Google Sheets и «Яндекс Документы», программными комплексами «1С» и «Битрикс24», СУБД ClickHouse, MySQL, PostgreSQL, MS SQL Server, Oracle Database, YDB, Greenplum и всевозможными сервисами «Яндекса». Взаимодействие с BI-системой осуществляется в рамках четырёх сущностей — «Подключение», «Датасет», «Чарт» и «Дашборд», которые обеспечивают полный цикл работы с данными. Можно создавать объекты сущностей самостоятельно, а также использовать готовые решения из DataLens Marketplace.

Рабочее окружение Yandex DataLens

Бесплатная версия сервиса предлагается в рамках тарифа Community. Она не имеет ограничений на количество пользователей и объём обрабатываемых данных и включает всю базовую функциональность: аналитические вычисления и SQL, интерактивные дашборды, конструктор чартов, средства моделирования данных, ролевую модель прав доступа, аутентификацию с Yandex ID/360, стандартную поддержку. Платформа соответствует требованиям ФЗ-152 «О персональных данных» и индустриальным стандартам. Исходный код DataLens доступен по лицензии Apache 2.0.

⇡#Заключение

По мнению аналитиков, в настоящий момент российский рынок систем класса Business Intelligence активно трансформируется, но отечественным разработчикам пока так и не удалось потеснить зарубежные решения, которые продолжают обеспечивать потребность в аналитике приблизительно для 70 % компаний в РФ. Ожидается, что расстановка сил в этом IT-сегменте кардинально изменится в текущем 2024 году, когда у многих крупных заказчиков закончится действие лицензий на софт иностранных вендоров, и организациям так или иначе придётся мигрировать на российское ПО. В перспективе преимущество будет у разработчиков, которые в условиях конкурентной среды смогут выстроить качественную службу клиентского сервиса, предложат оптимальное соотношение цены и качества программного продукта, а также широкие функциональные возможности визуальной аналитики, полагают эксперты. Борьба за место под солнцем определённо будет нешуточной, и радует то, что в выигрыше так или иначе останутся потребители, то есть мы с вами.

Об актуальности DLP-систем свидетельствуют аналитические исследования экспертов в сфере информационной безопасности. Так, согласно сведениям «Солар», только за прошедший год в публичный доступ попали данные 420 российских организаций. Это означает, что каждый день в России происходила как минимум одна утечка данных. При этом общий объём раскрытых данных превысил 100 Тбайт. Чаще всего под прицел киберпреступников попадали предприятия из IT-отрасли, сферы услуг, ретейла и финансов. Основная масса инцидентов пришлась на утечки внутренней документации компаний и различного рода структурированной информации — баз данных клиентов, сотрудников, пользователей веб-сайтов и сервисов.

Распределение утечек по отраслям (по данным центра мониторинга внешних цифровых угроз Solar AURA ГК «Солар» за 2023 год)

Непростую ситуацию с утечками данных в РФ подтверждает экспертно-аналитический центр InfoWatch, зафиксировавший в 2023 году не только резкий рост количества утёкших персональных данных (1,12 млрд скомпрометированных записей, что почти на 60 % выше уровня 2022 года), но и смещение вектора атак киберпреступников в сторону предприятий малого бизнеса, не имеющих достаточных материальных, финансовых и организационных ресурсов для поддержания безопасности корпоративной IT-инфраструктуры.

Более того, всё чаще в атаках на отечественные компании стали принимать участие хактивисты — злоумышленники, которыми движет не жажда наживы, а стремление скомпрометировать как можно больше данных по политическим мотивам. Такое положение дел подчёркивает серьёзность трудностей, с которыми сталкиваются российские организации, и важность защиты информационных активов, обеспечить которую способны системы предотвращения утечек данных (Data Leak Prevention, DLP). При этом надо понимать, что DLP — это лишь один из рубежей IT-обороны.

Принцип работы DLP-систем заключается в постоянном мониторинге перемещения корпоративных данных, анализе их содержимого и блокировке файлов с конфиденциальными сведениями в соответствии с заданными политиками. Программные комплексы такого рода позволяют контролировать всевозможные каналы передачи данных, коммуникации сотрудников и выполняемые ими действия на рабочих местах. При этом на карандаш берутся все информационные потоки — как циркулирующие внутри корпоративной сети, так и выходящие за её периметр. Такой подход позволяет предотвращать утечки данных вследствие халатности сотрудников или злонамеренных действий инсайдеров, а также проводить расследование инцидентов.

Ниже перечислены некоторые известные DLP-решения отечественных разработчиков, дано описание ключевых функций, а также указаны стоимость и наличие демо-версии. Все эти решения отвечают современным корпоративным стандартам, зарегистрированы в реестре российского программного обеспечения и подходят для задач импортозамещения.

InfoWatch Traffic Monitor

• Разработчик: InfoWatch
• Сайт продукта: infowatch.ru/products/dlp-sistema-traffic- monitor

Визитной карточкой программного комплекса являются запатентованные технологии контентного анализа и обработки больших объёмов данных с помощью искусственного интеллекта (ИИ). InfoWatch Traffic Monitor автоматически классифицирует информационные потоки компании, раскладывая их по полочкам — категориям и терминам, на основе которых производится гибкая настройка политик безопасности. Поддерживается возможность как использования готовых баз контентной фильтрации, оптимизированных под конкретную отрасль, так и создания собственных.

DLP-система умеет детектировать персональные данные (например, паспортные сведения, адреса электронной почты, номера телефонов и т.д.), финансовую информацию (ОГРН, БИК, номера кредитных карт, банковских счетов и т.д.), а также внутренние документы, содержащие формализованные данные и созданные по определённому шаблону (договоры, заполненные бланки, чертежи и т.д.). Поддерживаются технологии оптического распознавания символов (OCR), контроль процессов печати и сканирования документов, мониторинг использования сотрудниками съёмных накопителей и копирования файлов с рабочих станций посредством Bluetooth.

InfoWatch Traffic Monitor

Список контролируемых InfoWatch Traffic Monitor каналов передачи данных довольно внушителен — от электронной почты, мессенджеров, облачных хранилищ, онлайн-сервисов, USB-устройств, сканеров, принтеров и МФУ до рабочих станций Windows и серверов Linux (поддержка macOS не заявлена). Благодаря модулю Device Monitor возможен мониторинг мобильных устройств на базе Android и iOS. Также реализована поддержка терминальных сред и тонких клиентов Citrix XenApp и Microsoft RDP. Для заказчиков, предъявляющих особые требования к обеспечению безопасности корпоративной IT-инфраструктуры, предусмотрены версии DLP-системы, сертифицированные по требованиям ФСТЭК и Минобороны России.

• Стоимость. Не указана. Предоставляется по запросу.
• Наличие демо-версии. Доступ к оценочной версии InfoWatch Traffic Monitor предоставляется по запросу.

LanAgent Enterprise DLP

• Разработчик: «Нетворк Профи»
• Сайт продукта: lanagent.ru

Оповещает о нарушениях заданных правил безопасности и подозрительных действиях пользователей в корпоративной сети. Умеет перехватывать сообщения и анализировать переписку сотрудников в мессенджерах Viber, WhatsApp, Telegram, Jabber, социальных сетях, приложении Skype и по электронной почте. Продукт оснащён инструментами поиска нарушений политик безопасности при обмене документами, разграничения доступа к файлам, USB-накопителям и сетевым ресурсам, а также средствами предотвращения копирования защищаемой информации в буфер обмена ОС и её отправки на печать. Предусмотрен «Режим конфиденциального документа» — можно задать каталог, информация в котором считается конфиденциальной. Внутри этого каталога пользователи могут работать с документами, но их невозможно переместить за пределы защищаемой директории, в том числе нельзя выгрузить на почту или файлообменник.

По набору функций LanAgent Enterprise DLP относится скорее к инструментам пассивного, нежели активного контроля за утечками данных

LanAgent Enterprise DLP лишён поддержки технологий OCR, а значит, не способен фиксировать инциденты с передачей конфиденциальных данных в графических файлах. Также ничего не сообщается об инструментах блокирования чувствительной информации в используемых сотрудниками средствах коммуникации — доступны только оповещения о нарушениях. Что касается агентских модулей, то их можно установить на рабочие станции с Windows любых версий (включая устаревшие XP/Vista/7/8/8.1) и Linux.

• Стоимость. От 2990 руб. за бессрочную лицензию на одно рабочее место (зависит от количества защищаемых компьютеров). Для крупных организаций с парком более чем 500 машин цена рассчитывается индивидуально.
• Наличие демо-версии. Доступ к ознакомительной версии продукта осуществляется по запросу.

SecureTower

• Разработчик: «Фалконгейз»
• Сайт продукта: falcongaze.com

Мониторинг максимального числа коммуникационных каналов, будь то электронная почта, мессенджеры, социальные сети, веб-активность, облачные и сетевые хранилища, сетевые и локальные принтеры, IP-телефония, USB-устройства, буфер обмена. Поддерживается анализ текстовых файлов и отправляемого текста (с учётом морфологических особенностей языка), изображений, голосовых сообщений и звонков. При этом блокировка чувствительных данных может осуществляться по меткам, цифровым отпечаткам, поисковым словарям, регулярным выражениям и при создании скриншотов. После анализа перехваченных данных, если есть нарушение правил безопасности, система автоматически уведомляет ИБ-службы об инциденте и блокирует движение данных.

Компоненты SecureTower

SecureTower контролирует и запоминает все действия на компьютерах сотрудников, ведёт архив бизнес-коммуникаций на случай умышленного удаления важной информации и посредством встроенного в систему модуля анализа рисков User Behavior Analytics (UBA) отслеживает аномальные и потенциально опасные для организации изменения в поведении персонала. Поддерживается мониторинг рабочих станций под управлением Windows, Linux, macOS.

При расследовании инцидентов в SecureTower формируются дела, в которых можно фиксировать ход расследований, определять фигурантов дела, а после завершения расследования сделать отчёт для руководителей. Собранные данные могут быть использованы в суде в качестве доказательной базы. Безопасность и надёжность DLP-системы подтверждена сертификатом ФСТЭК России.

• Стоимость. Не указана. Предоставляется по запросу.
• Наличие демо-версии. По запросу разработчиком предлагается полнофункциональная версия системы с 30-дневным оценочным периодом.

Solar Dozor

• Разработчик: «Солар»
• Сайт продукта: rt-solar.ru/products/solar_dozor

Контроль любых каналов передачи данных, наличие агентских модулей для Windows/Linux/macOS, возможность перехвата критичных данных по цифровым отпечаткам, идентификаторам, графическим шаблонам и анализу поведения пользователей (UBA). Благодаря поддержке превентивных мер защиты Solar Dozor обеспечивает блокирование утечек в режиме реального времени. Также разработчиком отмечаются такие функции, как ведение архива коммуникаций, составление досье на сотрудников, запись рабочего стола и звука с микрофона для сбора доказательной базы, построение карты корпоративной сети, мониторинг локальных и облачных хранилищ, рефильтрация почтовых архивов в целях выявления пропущенных ранее утечек, использование средств лингвистического анализа данных и нейросетей для обработки графических файлов. Отдельный акцент делается на возможности работы Solar Dozor в составе инфраструктуры виртуальных рабочих мест (VDI).

Принцип работы Solar Dozor

По заверениям разработчика, Solar Dozor поддерживает работу в геораспределённом режиме и способен удовлетворить потребности организации любого масштаба. Отдельные инсталляции программного комплекса в филиалах могут объединяться в общую DLP-систему с помощью модуля MultiDozor. Таким образом можно совместить работу служб ИБ в филиалах и общий контроль над безопасностью из штаб-квартиры. Доступно централизованное управление агентами, анализом поведения пользователей, сканированием локальных и облачных хранилищ. Отсутствие в продукте уязвимостей и недекларированных возможностей подтверждено сертификатом ФСТЭК России.

• Стоимость. Не указана. Предоставляется по запросу.
• Наличие демо-версии. Сведения о доступности ознакомительной сборки Solar Dozor отсутствуют.

Staffcop Enterprise

• Разработчик: «Атом безопасность»
• Сайт продукта: staffcop.ru/product/staffcop-enterprise

Мониторинг пользовательской активности на рабочих местах и подключаемого к компьютерам оборудования; перехват SIP-телефонии, сетевой активности приложений, отправляемых на печать и в облачные сервисы документов, терминальных Linux-сессий, сообщений и вложений, пересылаемых посредством электронной почты и мессенджеров; блокировка действий пользователей с файлами на основе заданных правил, контента и встроенных в файлы меток, передачи информации посредством буфера обмена, доступа к веб-ресурсам на основе белых-чёрных списков, а также носителей информации при превышении объёма передаваемых данных.

Архитектура Staffcop Enterprise

Staffcop Enterprise поддерживает распознавание графических файлов (ОCR), полнотекстовый поиск с учётом морфологии, регистра, регулярных выражений и количественных совпадений, запись фото и видео с веб-камеры компьютера с возможностью распознавания лиц сотрудников, транскрибирование (расшифровку) перехваченных аудиозаписей. Предусмотрены возможности контроля привилегированных пользователей и использования кластерной архитектуры. Агентские модули представлены в редакциях для Windows, Linux и macOS. Доступна сертифицированная ФСТЭК России версия Staffcop Enterprise.

• Стоимость. Не указана. Предоставляется по запросу.
• Наличие демо-версии. По запросу предоставляется 15-дневная полнофункциональная версия DLP-системы на 5 агентов.

Zecurion DLP

Разработчик: Zecurion
Сайт продукта: zecurion.ru/products/dlp

Контроль более 50 каналов передачи данных и около 450 поддерживаемых форматов файлов, автоматическая обработка событий с выявлением опасных инцидентов, возможность объединения событий в цепочки и выявления нарушителей, архивирование всех действий персонала, работа в сетях различного масштаба (до 200 тыс. активных сотрудников). Важной особенностью Zecurion DLP является возможность предотвращения утечек в режиме реального времени не только по ограниченному набору каналов и технологий анализа, но и по всему перечню поддерживаемых методов детектирования. При этом блокировка, как заверяет разработчик, происходит практически мгновенно, а в случае особо важных сотрудников и данных можно настроить режим карантина — отправку данных на ручную проверку службой безопасности.

Пользовательский интерфейс Zecurion DLP

В активе Zecurion DLP также представлены Screen Photo Detector для защиты от утечек через фотографирование экрана на смартфон, Staff Control для контроля рабочего времени сотрудников, IRP-модуль для внутреннего расследования инцидентов и управления ИБ-отделом компании, Risk Score для риск-менеджмента в информационной безопасности. Поддерживаются Windows и Linux. Имеется сертификат ФСТЭК России.

• Стоимость. Не указана. Предоставляется по запросу.
• Наличие демо-версии. Предоставляется по запросу.

«Гарда предприятие»

• Разработчик: «Гарда технологии»
• Сайт продукта: gardatech.ru/produkty/gp

Контроль всех основных каналов коммуникаций на рабочих местах (Windows, Linux, macOS) и в сети организации: съёмных носителей, печати, веб-трафика (сайты, социальные сети), мессенджеров (Skype for Business, Viber, Telegram и т. д.), телефонии (VoIP, SIP, SDP, H.323, MGCP, SKINNY, Megaco/H.248), облачных и локальных хранилищ, корпоративной почты (SMTP, POP3, IMAP, MAPI) и внешних почтовых сервисов. Поддерживаются перехват клавиатурного ввода, чертежей (AutoCAD, SolidWorks, «Компас»), сканов и фотографий документов (паспорт РФ, водительское удостоверение, банковская карта и т. д.), а также документов с печатями. Блокировка недопустимых действий осуществляется автоматически в соответствии с настроенными политиками безопасности.

Архитектура DLP-системы «Гарда предприятие»

Встроенные в «Гарда предприятие» средства ретроспективного анализа позволяют выявлять действия персонала, предшествовавшие инциденту, находить взаимосвязи между сотрудниками и выстраивать маршруты распространения информации от первой коммуникации до момента передачи за пределы организации. Программный комплекс может применяться в территориально-распределённых компаниях и холдинговых структурах с развитой филиальной сетью.

• Стоимость. Не указана. Предоставляется по запросу.
• Наличие демо-версии. Возможно пилотное внедрение системы DLP с бесплатным тестированием.

«Кибер Протего»

• Разработчик: «Киберпротект»
• Сайт продукта: cyberprotect.ru/products/dlp

Контроль устройств под управлением Windows, Linux, macOS и виртуальных рабочих столов на базе VDI-платформ Microsoft, Citrix Systems, VMware, Oracle с возможностью фильтрации данных в режиме реального времени. Поддерживаются детальное протоколирование, теневое копирование и различные технологии анализа содержимого: поиск по ключевым словам с применением морфологического анализа, по комплексным шаблонам регулярных выражений, проверка расширенных свойств документов и файлов, сигнатур типов файлов, анализ по цифровым отпечаткам с поддержкой классификации образцов Встроенный модуль OCR делает возможным извлечение текста из изображений и его анализ.

Консоль управления «Кибер Протего»

Модуль мониторинга действий пользователей (User Activity Monitor, UAM) позволяет расширить доказательную базу при расследовании инцидентов информационной безопасности, а также упростить процессы выявления подозрительного поведения пользователей. DLP-система «Кибер Протего» обеспечивает возможность видеозаписи экрана и записи нажатий клавиш, а также протоколирование сведений о запущенных процессах и приложениях. При этом фиксация включается по заданным событиям, причём с записью как до, так и после наступления определённого события. Так можно получить видеозапись экрана при попытке передачи конфиденциального документа, подключении внешнего накопителя и т. д.

В ситуациях, когда контролируемый компьютер находится вне корпоративной сети и связь между сервером и агентом невозможна, защищённый от вмешательства пользователя агент «Кибер Протего» обеспечивает все функции защиты, заданные в DLP-политике — от контроля доступа до контентной фильтрации, и сохраняет сгенерированные события и теневые копии до восстановления связи с сервером. Таким образом реализована работа агента вне зависимости от доступности сервера управления

• Стоимость. Варьируется в зависимости от набора включённых в состав программного комплекса компонентов, количества поддерживаемых устройств и индексируемых документов. Сертификат на техническую поддержку ПО оплачивается отдельно.
• Наличие демо-версии. Доступ предоставляется по запросу.

«СёрчИнформ Контур информационной безопасности (КИБ)»

• Разработчик: «СёрчИнформ»
• Сайт продукта: searchinform.ru/products/kib

Контроль пользовательских активностей в локальной сети, интернете, мессенджерах, почтовых клиентах, облачных сервисах и на рабочих местах под управлением Windows, Linux, macOS. Помимо «классических» технологий анализа перехваченных данных (морфология, словари, регулярные выражения, цифровые отпечатки, OCR) доступны детектирование текстов, близких по смыслу с эталоном, и поиск изображений, похожих на эталон, а также поиск по аудио- или видеозаписям действий сотрудников. Поддерживаются функции сохранения перехваченной информации в архив и блокирования трафика с конфиденциальными сведениями. В продукте насчитывается свыше 250 политик безопасности, учитывающих специфику работы предприятий различных сфер деятельности. Имеется сертификат ФСТЭК России.

Принцип работы «СёрчИнформ КИБ»

«СёрчИнформ КИБ» позволяет производить аудио- и видеозапись действий пользователя, фиксировать любые действия с файлами или папками, журналами аудита, устройствами или ПО. Инструменты пристального наблюдения позволяют восстанавливать цепочки событий и устанавливать всех причастных к нарушениям. В программный комплекс также встроена возможность оценки продуктивности работы сотрудников.

• Стоимость. Не указана. Предоставляется по запросу.
• Наличие демо-версии. По запросу разработчиком предлагается полнофункциональная версия системы с 30-дневным оценочным периодом без ограничений по количеству контролируемых рабочих мест.

«Стахановец»

• Разработчик: «Стахановец»
• Сайт продукта: stakhanovets.ru/dlp

Обеспечивает контроль над корпоративной информацией путём мониторинга свыше 20 каналов коммуникаций и протоколов передачи данных. Система автоматически анализирует действия сотрудников более чем по 40 параметрам и в случае обнаружения нарушений отправляет оповещение службе безопасности компании, а также блокирует передачу конфиденциальных данных. Поддерживаются функции маркирования документов (в том числе с использованием скрытых водяных знаков), распознавания лиц, перехвата разговоров персонала и преобразования речи в текст, построения графа связей сотрудников, мониторинга их местонахождения и защиты от фотографирования экрана.

Принцип работы DLP-системы «Стахановец»

Отчёты DLP-системы «Стахановец» позволяют проводить расследование инцидентов и нарушения политик. Беспрерывное логирование сохраняет историю поведения сотрудников для формирования доказательной базы. Поддерживается работа с клиентскими устройствами под управлением Windows любых версий (включая устаревшие XP/Vista/7/8/8.1), Linux, macOS и Android. Также в активе программного комплекса имеется сертификат ФСТЭК России.

• Стоимость. От 712 руб. за одно рабочее место. Зависит от редакции DLP-системы и условий лицензирования (3 месяца, 1 год, бессрочно)
• Наличие демо-версии. Предоставляется по запросу.

Сводная таблица

Заключение

Ситуация с утечками данных в России остаётся напряжённой, что подтверждается не только количеством утечек конфиденциальной информации, но и масштабом скомпрометированных данных. Такое положение дел лишний раз подчёркивает актуальность упомянутых в обзоре DLP-систем и необходимость их повсеместного использования в корпоративной среде. Все они схожи по функциональным возможностям, но есть нюансы, на которые мы постарались обратить внимание, и которые могут помочь при выборе того или иного защитного решения.

Важно понимать, что любая утечка данных чревата репутационными и финансовыми издержками для бизнеса. О серьёзности последствий свидетельствует принятый Госдумой в первом чтении закон об оборотных штрафах за утечки. Согласно обсуждаемым поправкам в Кодекс Российской Федерации об административных правонарушениях, штраф составит от 3 млн до 15 млн руб. в зависимости от размера утёкшей в сеть базы. За повторные утечки компании могут назначить оборотный штраф от 0,1 % до 3 % выручки за календарный год или за часть текущего года, в пределах от 15 млн до 500 млн руб. Ожидается, что подобные меры по ужесточению ответственности за нарушения в сфере обработки конфиденциальных данных заставят организации усилить защиту своих информационных активов и поспособствуют улучшению ситуации в этой области.

В ушедшем году IT-индустрия окончательно оправилась от пандемии и явно постаралась ускоренными темпами нагнать упущенное. Вспомним самые интересные анонсы, сделки и события не только 2023 года, но и начала 2024-го. Как раз подоспели квартальные и годовые отчёты компаний, исследования и прогнозы аналитиков, а также анонсы, которые компании не успели сделать до рождественских и новогодних праздников.

• CPU
• Ускорители и APU
• ЦОД и охлаждение
• Память и хранилище
• Сети и интерконнект
• HPC и суперкомпьютеры
• Сделки и события
• Российский рынок
• Заключение

CPU

На анонсы процессоров год выдался на удивление богатым. Начнём с того, что Intel умудрилась выпустить сразу два поколения Xeon Scalable: Sapphire Rapids и Emerald Rapids. Однако в заслугу это ставить ей затруднительно. Напротив, выход первых изрядно задержался, а вторые можно охарактеризовать скорее как работу над ошибками, благо платформа Eagle Stream для них едина. Так и не сумев и, возможно, даже не думая догнать AMD по количеству ядер (64 шт. всё ещё предел для «синих»), Intel сделала ставку на расширение возможностей CPU специализированными ускорителями, чем ещё больше запутала потенциальных клиентов. Экстремальным вариантом можно считать Xeon EE, в которых есть ускоритель обработки... 5G-трафика!

Особняком стоят уникальные процессоры Intel Xeon Max — всё те же Sapphire Rapids, но с 64 Гбайт HBM2e-памяти на борту, для которых наличие внешней DDR5 для работы не является обязательным (и такие системы уже есть). Но они дороги, рассчитаны на узкий сегмент и хорошо показывают себя в некоторых нагрузках HPC и ИИ. Первое массовое внедрение Max — это пресловутый суперкомпьютер Aurora, который попал-таки в последний рейтинг TOP500, но полностью свои возможности пока не раскрыл. Не исключено, что в будущем компания подобные процессоры выпускать более не будет.

Источник изображения: AMD

Для рабочих станций Intel выпустила Xeon W-2400/3400, а для различного рода индустриальных, сетевых, периферийных и просто маломощных систем — Xeon D-1800/2800 и Xeon E-2400, на смену которым со временем придут Granite Rapids-D. Семейство Atom пополнили чипы C1100 (Arizona Beach). AMD, конечно же, без дела тоже не сидела, выпустив в 2023 году Ryzen Threadripper 7000 для рабочих станций и целый ворох разнородных процессоров для задач попроще: EPYC Embedded 9004, Ryzen Embedded 5000 и 7000, а также замечательные EPYC Siena 8004 (с малыми ядрами Zen4c).

Главная же борьба будет идти на совсем других фронтах. AMD в ушедшем году представила EPYC Genoa-X 9x84X и Bergamo 97x4. Первые, как видно из названия, являются Genoa с 3D V-Cache, и такое сочетание даёт до 96 ядер и 1152 Мбайт L3-кеша на процессор. А вот Bergamo — совсем другая история. Эти процессоры имеют до 128 ядер Zen4c, которые по ISA полностью совпадают с обычными Zen4, но сами по себе попроще, медленнее, а оттого значительно компактнее. Ориентированы они на облака и гиперскейлеров, которым важна плотность размещения вычислительных ресурсов. До конца 2024 года появится семейство EPYC Turin с ядрами Zen5(c).

Источник изображения: Intel

И Bergamo, и Genoa-X благодаря большему количеству ядер во многих нагрузках успешно конкурируют и с обычными Sapphire Rapids, и с Xeon Max. В Turin же, как ожидается, будет уже до 128 ядер Zen5 или 192 ядер Zen5c, да и 3D V-Cache не оставят за бортом. Чем будет отвечать Intel? Granite Rapids и Sierra Forest на базе P- и E-ядер соответственно, изготовленными по техпроцессу Intel 3. Первые, как считается, получат порядка 120 ядер, а вторые — 144 на первом этапе и 288 на втором. Нюанс в том, что ISA у них будет отличаться, поэтому даже нынешние Bergamo могут в итоге оказаться производительнее. Важно и то, что Intel всё глубже осваивает тайловую (чиплетную) компоновку и даже отделила IO-тайлы от вычислительных, хотя контроллеры памяти всё равно привязаны к последним.

Доля AMD на рынке серверных процессоров, по словам главы компании, ещё летом перевалила за 25 %, так что Intel придётся побороться. Но не только с AMD, а ещё и с армией Arm-процессоров, которых «красные» вообще-то тоже опасаются. Глава Oracle и вовсе заявил, что решения Intel x86 в серверном сегменте теряют актуальность. Правда, не стоит забывать, что Oracle сделала ставку на Arm, вложившись в своё время в Ampere Computing, которая представила 192-ядерные процессоры AmpereOne. Oracle портировала свою флагманскую СУБД на Arm-архитектуру и завершила миграцию всех своих облачных сервисов на Arm-процессоры. Exadata перевели с Intel Xeon на AMD EPYC, но переезд на Arm, вероятно, и здесь не за горами.

Источник изображения: AWS

Softbank около года назад сообщила, что Arm захватила 5 % облачного рынка. Но, как считается, 40 % всех Arm-серверов мира приходится на Китай, который отказывается от западных решений, в том числе поддерживая стартапы вроде Borui Jingxin. Но и более зрелые местные компании даже в условиях санкций не стоят на месте. На другом берегу океана дела тоже идут неплохо. Так, AWS представила уже четвёртое поколение процессоров Graviton, добравшееся до 96 ядер. Microsoft представила 128-ядерный Arm-процессор Cobalt 100 собственной разработки, созданный на базе Arm Neoverse Compute Subsystem (CSS). По слухам, Google тоже разрабатывает Arm-процессоры Maple и Cypress.

В 2024 году должны появиться первые европейские процессоры SiPearl Rhea для суперкомпьютеров. Fujitsu обещает представить к 2027 году 150-ядерный серверный Arm-процессор MONAKA. Это будут универсальные CPU в отличие от A64FX, имеющих HBM2-память. Индия, напротив, добавила к своему 96-ядерному первенцу AUM сразу 96 Гбайт HBM3. Он фактически состоит из двух 48-ядерных чиплетов, объединённых 64 линиями PCIe 5.0 (≈ 252 Гбайт/с). Похожая компоновка у NVIDIA Grace Superchip: два 72-ядерных чиплета (в сумме 144 Arm-ядра), 900-Гбайт/с шина NVLInk между ними + 960 Гбайт LPDRR5X. Процессоры обещают быть не хуже CPU AMD и Intel, но намного энергоэффективнее.

Источник изображения: NVIDIA

В мире больших чипов RISC-V тоже было интересно. Ventana анонсировала второе поколение чипов Veyron V2. Они по-прежнему могут иметь до 192 ядер, но теперь компания предлагает своего рода конструктор из шести UCIe-тайлов, часть которых может быть представлена специализированными ускорителями. Ступенькой ниже находятся 64-ядерные китайские процессоры SOPHGO SOPHON SG2042. Примечательно, что SOPHGO использует ядра SiFive. Так что США не прочь ограничить использование RISC-V недружественным разработчикам, но как это сделать, если учесть открытость архитектуры, большой вопрос.

Ассоциация RISC-V International, которая ранее как раз из-за опасений чего-нибудь эдакого сменила штатовскую прописку на швейцарскую, задумалась о стандартизации серверных чипов RISC-V. К слову, российская YADRO, которой принадлежит Syntacore, входящая в состав правления RISC-V International, отказалась от развития POWER-платформ как раз в пользу RISC-V. В Китае, конечно, тоже развивают RISC-V, но, что удивительно, там же разработали и новый POWER-процессор, благо архитектура уже несколько лет как стала открытой. Сама IBM в 2023 году представила только младшие варианты мейнфреймов z16 и LinuxONE Rockhopper 4.

Источник изображения: IBM

Впрочем, в Китае хватает и собственной экзотики вроде 32-ядерных Loongson 3D5000 или 384-ядерных Sunway SW26010 Pro. Последние ближе к ускорителям, как и японские 4096-ядерные процессоры PEZY-SC3. Совсем уж необычно выглядит экспериментальный RISC-процессор от Intel, созданный для DARPA: 8 ядер, 528 потоков и интегрированная фотоника от Ayar Labs. А вот процессор Tachyum Prodigy пока никак не выглядит, поскольку в кремнии, судя по всему, не существует, что не помешало разработчикам увеличить количество ядер с 128 до 192 и даже пообещать 8-Зфлопс машину на их основе.

Отдельно стоит упомянуть и удивительный стартап Oxide Computer, который, по его же словам, намерен переизобрести облако. Это вылилось в создание интегрированной программно-аппаратной платформы в виде готовой стойки, разработанной с нуля, хотя и на базе стандартных компонентов. Компания избавилась от UEFI, сделала сетевую фабрику, создала собственный вариант BMC и RoT, переработала гипервизор и оснастила всё это удобным интерфейсом управления, не забыв выложить в open source практически все наработки.

Источник изображения: Oxide Computer

Ускорители и APU

В принципе этот раздел можно было бы назвать «NVIDIA и остальные», поскольку безусловным лидером рынка стали именно решения «зелёных», которые всё ещё страшно дефицитны и на которых компания изрядно заработала. В конце прошлого года Dell призналась, что сроки поставок H100 растянулись минимум на девять месяцев. Однако виной всему политика самой NVIDIA. Традиционных серверных вендоров она оставила за бортом, и даже большая тройка облаков, которая в целом была не очень готова к буму генеративного ИИ (далее для краткости просто ИИ), оказалась чуть обделена вниманием. Одними из первых H100 получили провайдеры второго-третьего эшелона, а то и вовсе нишевые или совсем маленькие игроки.

Всё это привело к росту странноватых облачных провайдеров, готовых предложить доступ к ускорителям по кратно меньшим ценам, чем крупные игроки, но в то же время не способных предоставить весь спектр сопутствующих облачных решений, а подчас и вовсе формирующих физическую инфраструктуру под конкретного клиента или проект. Иными словами, живы они только из-за дефицита и в перспективе ближайших лет могут и вовсе сгинуть, если не выстроят привлекательный для заказчиков программно-аппаратный стек.

Источник изображения: NVIDIA

Среди подобных компаний особо выделяются CoreWeave и Lambda Labs, которые получили сравнительно крупные партии H100 и услугами которых, по слухам, вынуждена пользоваться Microsoft (и вполне официально — инфраструктурой Oracle). К первой NVIDIA, судя по всему, испытывает особую любовь, поскольку вложилась в неё и прямо, и опосредованно и задействовала её инфраструктуру в публичных бенчмарках. Этого CoreWeave оказалось мало, поэтому она взяла в долг $2,3 млрд под залог имеющихся ускорителей, чтобы... купить ещё больше ускорителей!

Microsoft ещё летом прямо говорила, что дефицит ИИ-ускорителей является для неё фактором риска. Так что компания сделала стратегический ход, создав собственный ИИ-ускоритель Maia 100 (Athena), причём с солидным транзисторным бюджетом. Таким образом Microsoft присоединилась к AWS, у которой есть уже два поколения ускорителей Trainium и Inferentia (для обучения и инференса соответственно), и к Google, которая в ушедшем году представила сразу два варианта пятого поколения фирменных ИИ-чипов: TPU v5p и TPU v5e.

Источник изображения: Google Cloud

Параллельно Microsoft ищет LLM попроще и подешевле в эксплуатации, чем применяемые ей повсеместно модели OpenAI, в которую редмондская корпорация инвестировала немало средств и ресурсов. Вообще говоря, роль ПО на фоне дефицита железа становится всё важнее и важнее. Практически вся индустрия полагается на экосистему CUDA, которую NVIDIA развивала 15 лет. Intel прямо говорит, что с этой гегемонией пора покончить, причём инструмент-то в лице oneAPI у неё вроде бы есть, но потеснить «зелёных» ей это не очень помогает.

Единственный на текущий момент достойный конкурент H100 из тех, для кого публично даются результаты бенчмарков, — Intel Habana Gaudi2 — наращивает производительность как раз благодаря оптимизации софта. А ускорители Max 1550 Intel предпочитает сравнивать с A100. Сейчас «синие» готовят ускорители Gaudi3, которые должны выйти в этом году, а от серии Greco было решено отказаться, равно как и от Rialto Bridge. В 2025 году Intel обещает представить чиплетные (тайловые) ускорители Falcon Shores, среди которых APU (XPU) не будет.

Источник изображения: AMD

Таким образом, самыми продвинутыми с точки зрения компоновки остаются представленные в конце прошлого года AMD Instinct MI300: «чистый» ускоритель MI300X и гибридный самодостаточный APU MI300A с x86-ядрами. MI300X, согласно тестам самой AMD, быстрее H100, из-за чего между компаниями возникла даже небольшая онлайн-перепалка. Но главным всё равно остаётся софт. MosaicML, известная оптимизациями для ускоренного обучения моделей, смогла почти безболезненно для конечного пользователя перенести этот процесс с ускорителей NVIDIA на ускорители AMD. Lamini и вовсе полагается исключительно на решения AMD и первой же получила MI300X.

Сама AMD добилась интеграции ROCm в PyTorch 2.0 и OpenAI Triton 3.0. Всё это открывает ей путь к карману крупных компаний. Но бороться с NVIDIA будет непросто. Последняя уже представила ускорители H200 и APU GH200 Grace Hopper (H200 + 72-ядерный Arm-процессор), а также суперускоритель GH200 NVL32 (32 шт. GH200 с NVLink) и (мы уже сбились, какой по счёту) самый мощный в мире ИИ-суперкомпьютер Project Ceiba. Кроме того, компания представила в 2023 году ускорители L4 и H100 NVL, а также L40S, который до некоторой степени может заменить A100. В 2024 году NVIDIA обещала представить B40, B100, GB200 и GB200NVL на новой архитектуре.

Источник изображения: NVIDIA

Несколько смазали успех NVIDIA очередные антикитайские санкции со стороны США. Урезанные версии ускорителей H800 и A800 экспортным правилам более не соответствуют, так что уже выпущенные чипы частично направили на создание ускорителей попроще для западных рынков, а часть достанется Индии. Для Китая NVIDIA подготовила ещё более урезанные ускорители H20, L20 и L2, но они, похоже, потенциальных покупателей не заинтересовали. Кто-то успел запастись старыми вариантами, кто-то переделывает игровые GPU (тут, к слову, есть и альтернативный подход), кто-то обратился к локальным поставщикам.

Huawei выпустила загадочный ускоритель Ascend 910B, который непонятно чем именно отличается от 910-й модели. Свои ускорители представили Moore Threads, Metax и другие. А в целом китайские разработчики решили объединить усилия, чтобы создать в стране собственную ИИ-экосистему. Свои версии ускорителей для Поднебесной также подготовили AMD и Intel, а вот Graphcore, которой и так не очень хорошо, пришлось свернуть бизнес в КНР.

Источник изображения: Cerebras

Вообще говоря, из давних независимых разработчиков «больших» ИИ-ускорителей лучше всех дела, похоже, обстоят у Cerebras, которая раскритиковала NVIDIA как раз за выпуск специализированных версий ускорителей. Потом, правда, выяснилось, что компания G42, которая и выделила Cerebras средства на создание действительно крупных ИИ-кластеров Condor Galaxy, сама неравнодушна к Пекину. Groq новых чипов не выпустила, а старые предлагает задействовать для инференса. SambaNova представила ускоритель SN40L, но среди крупных публичных заказчиков у неё опять Лос-Аламос, т. е. госструктура с бюджетными деньгами.

Среди новичков на рынке можно выделить D-Matrix, которая использует вычисления в памяти, и Lightelligence, опирающуюся на фотонику. Lightmatter, ставшая «единорогом», похоже, будет зарабатывать вовсе не на своих фотонных ИИ-чипах, а на чиплетном интерконнекте. Отличилась Южная Корея, которая стремится к технологической независимости, — здесь представлены чипы Rebellions, Sapeon и совместная разработка Samsung и Naver. Последняя пострадала от дефицита ускорителей «зелёных». Из экзотики можно вспомнить нейроморфный ИИ-процессор IBM NorthPole. Российский NM Quad от НТЦ «Модуль» тоже в каком-то смысле экзотика. А вот уникальные NEC SX-Aurora развиваться более не будут.

Источник изображения: Meta✴✴

При этом наиболее ожесточённая борьба развернётся в области ускорителей вовсе не для обучения, а для инференса. С «большими» вендорами как раз всё понятно, а вот создать эффективный чип, особенно для работы на периферии, программную экосистему для него и убедить потенциальных заказчиков, что он лучше всех, — дело непростое. Так, Esperanto, явно метившая в Meta✴✴ со своим 1000-ядерным ускорителем, второе поколение своих RISC-V-чипов сделает более универсальным.

Но винить Esperanto не стоит, поскольку Meta✴✴ сама запуталась в своих желаниях — собственный ИИ-ускоритель MTIA v1 (Meta✴✴ Training and Inference Accelerator) она, как выяснилось, разработала ещё в 2020 году, и тоже на базе RISC-V. Он создавался для работы с рекомендательными системами и на поверку оказался не слишком эффективен. Проще говоря, для генеративного ИИ MTIA не подходит. Два года назад Meta✴✴ пошла на нетипичный для неё шаг, заказав ИИ-суперкомпьютер и хранилище к нему на стороне. Теперь же она до конца года будет иметь аж 350 тыс. NVIDIA H100. Чтобы переварить такое количество ускорителей, ей пришлось сделать всего ничего — поменять архитектуру ЦОД. Более того, компания намерена внедрять и MI300, и новое поколение собственных ускорителей Artemis.

ЦОД и охлаждение

И перед Meta✴✴, и перед остальными гиперскейлерами и операторами ЦОД в связи с массовым внедрением генеративного ИИ и высокоплотных аппаратных платформ для него остро встал вопрос питания и охлаждения. В 2023 году сразу несколько операторов предложили 300 кВт на стойку: Aligned, CyrusOne и Stack. У Digital Realty предложение скромнее, всего-то 70 кВт, зато география шире. А Equinix просто сказала, что готова к массовому внедрению СЖО. Involta и вовсе собралась брать деньги только за подведённую мощность или фактическое энергопотребление, а там хоть танк с иммерсионным охлаждением ставь.

Вообще о СЖО много говорилось в прошлом году, и всё чаще о погружном, которое хоть и не слишком удобное в практическом отношении, зато всё ещё самое эффективное. В реальности, конечно, скорее стоит ожидать гибридных схем. Тема охлаждения связана с двумя другими. Это, во-первых, водоснабжение, с которым тоже всё не так просто. А во-вторых, утилизация «мусорного» тепла, которое обычно предлагается использовать для отопления, хотя это не везде нужно и далеко не всегда экономически обоснованно. Подводные и прибрежные ЦОД, в общем-то, тоже решают именно проблему охлаждения.

Источник изображения: Highlander

А охлаждать будет что — энергопотребление ЦОД, как ожидается, вырастет вдвое в ближайшие годы. Гиперскейлеры особенно резко нарастят ёмкость, причём они заранее арендуют ещё не построенные мощности. Электроэнергия тем временем дорожает, а её нехватка тормозит развитие рынка. К традиционным источникам возобновляемой энергии помаленьку добавляются проекты по освоению геотермальной и атомной. Более того, операторам всё труднее повышать энергоэффективность и экологичность ЦОД, чего от них всё чаще требуют государства и общественность. Да-да, речь всё так же про тепло, воду и энергию.

Источник изображения: Microsoft

Как бы то ни было, благодаря ИИ рынок ЦОД будет расти, во многом из-за гиперскейлеров и провайдеров колокации. При этом структура закупок уже поменялась — в штучном выражении поставки серверов упали, тогда как в денежном выросли. И дело не только в том, что теперь чаще приобретаются дорогие ИИ-системы, но и в том, что старые «обычные» серверы порой служат уже по семь лет и менять их не собираются. Российский рынок ЦОД в 2023 году тоже вырос, хотя не так сильно, как мог бы. Спрос на дата-центры растёт, причём не только в Центральном регионе.

Впрочем, Uptime Institute довольно осторожен в своих прогнозах. Да, влияние ИИ на индустрию будет сильным, но неравномерным. Гиперскейлеры в скором времени опять изменят ландшафт рынка, оттеснив провайдеров колокации. Больно ударит по всей индустрии повсеместное введение правил, касающихся энергоэффективности и устойчивого развития. И СЖО эти проблемы с ходу не решат, поскольку внедряются слишком медленно и слишком поздно. Но есть надежда на общее повышение эффективности работы ЦОД благодаря активному внедрению ПО для мониторинга и управления инфраструктурой.

Память и хранилище

Громче всех о себе в прошлом году заявила Pure Storage, предсказавшая скорую и стремительную смерть HDD. Да, поставки жёстких дисков сокращаются, хотя ёмкость продолжает понемногу расти, и вся большая тройка производителей который квартал показывает если не падение, то переменные успехи. Однако эксперты с Pure Storage не согласны. Пока что цена гигабайта у HDD меньше, чем у SSD, и для тех задач, где скорость не так критична, они подходят. Интерфейсы, соответственно, пока тоже особо не эволюционируют (STA вообще присоседилась к SNIA), а там, глядишь, перейдут на NVMe/CXL или на то, что гиперскейлеры сочтут более удобным.

Источник изображения: Seagate

Seagate уже в этом году представила HAMR-платформу Mozaic3+ для 30-Тбайт накопителей и готовит решения на 40 и 50 Тбайт. Есть, конечно, некоторые сложности при внедрении столь ёмких дисков. Western Digital от конкурента явно отстаёт — в 2023 году она представила свои первые двухактуаторные HDD, а максимальную ёмкость накопителей довела только до 28 Тбайт (ePMR с SMR), а с CMR упёрлась в 24 Тбайт. Toshiba и вовсе добралась лишь до 22 Тбайт. При всём этом LTO чувствуют себя совсем неплохо, а «сырая» ёмкость проприетарных JF-картриджей IBM достигла 50 Тбайт (эффективная 150 Тбайт).

В SSD проприетарные решения тоже опережают массовые. Всё та же Pure Storage представила 75-Тбайт DFM-модули, а через пару лет собирается довести их ёмкость до 300 Тбайт. Они как раз и должны избавить рынок от HDD, которые не справятся с наплывом ИИ. Samsung пока работает над 256-Тбайт SSD, а вот Solidigm уже начала продажи 61,44-Тбайт NVMe SSD. И это безоговорочная победа над жёсткими дисками с точки зрения ёмкости. Естественно, этого удалось добиться благодаря применению QLC, но и форм-фактор (E1.L) тоже сыграл роль. Попутно отметим, что EDSFF потихоньку становится нормой в новых платформах, но U.2 до вытеснения пока далеко.

Источник изображения: Pure Storage

На смену почившим Optane было предложено сразу несколько накопителей с SLC/MLC-памятью: не названные пока модели Kioxia на базе XL-FLASH второго поколения, Micron XTR и Solidigm P5810. На самом деле флеш-память в них та же, что везде, но работает она в одно- или двухбитовом режиме. O PLC в 2024 году никто из производителей особо не заикался, они пока предпочитают наращивать количество слоёв: 321 у SK hynix, по 232 у Micron и YMTC, 218 у Kioxia/WD. Samsung вот-вот начнёт массовое производство 280-слойной 3D NAND и уже готовит 430-слойную.

Однако одной ёмкостью сыт не будешь, хорошо бы ещё повысить скорость. И не только обращений к хранилищу, но и обработки данных. Так, Scaleflux обновила вычислительные SSD, оптимизировав их для ИИ. Консорциум NVM Express вслед за SNIA добавил в стандарт поддержку вычислительных хранилищ. Pliops обновила свои карты XDP, ускоряющие работу с СУБД, и готовит новое поколение. Они же могут обслуживать и RAID из NVMe SSD, как и решения Graid, которая представила совсем простенький SupremeRAID SR-1001 для восьми SSD. Graid, напомним, фактически использует младшие ускорители NVIDIA. Аналогичного подхода придерживалась и Nyriad, но успешной компания не стала.

Источник изображения: Pamnesia

ИИ (что, опять?) должен подстегнуть и развитие CXL. В 2023 году о себе заявили сразу несколько стартапов: Enfabrica, Panmnesia и Unifabrix. Более опытные игроки тоже не сидели без дела. И все они пытаются создавать терабайтные пулы памяти. Благо CXL-модулей становится всё больше — к Samsung, снова опередившей всех, и Micron присоединилась ADATA. CXL даже проникает в интерконнекты. Как внутричиповые, так и внешние. SNIA же успела подготовить новый стандарт работы с памятью, который как раз опирается на CXL.

Micron, Samsung и SK hynix последовательно заявили, что они создали самую быструю память HBM3e, которая пойдёт в ИИ-ускорители образца 2024–2025 гг. Общий объём отгрузок HBM увеличится вдвое. Но и обычная память тоже развивается. Micron, например, анонсировала 128-Гбайт RDIMM-модули DDR5-8000. «Небинарные» чипы DDR5, к слову, набирают популярность, и таких предложений всё больше. Дальнейшее повышение ёмкости пока под вопросом. NEO Semiconductor предлагает «трёхмерную» 3D X-RAM, которая пока существует лишь на бумаге. Более практичная AMD в пику Intel с MCR DIMM предлагает MRDIMM. Оба варианта фактически объединяют два модуля DDR5 в одной планке.

Сети и интерконнект

В 2023 году Ethernet исполнилось 50 лет — самое время создать новый стандарт Ultra Ethernet для HPC и ИИ! На самом деле авторы этого стандарта фактически дружат против NVIDIA, которая, став лидером в ИИ-решениях, продвигает и свои сетевые продукты. От «зелёных» в этом году стоит ждать анонса InfiniBand XDR (800G), а в 2023 году компания с запозданием представила 400GbE/800GbE-платформу Spectrum-X и SuperNIC (DPU в другом обличье). Естественно, всё это, как заявляет NVIDIA, оптимизировано для ИИ, за что её и ругают конкуренты. Свои 800GbE-коммутаторы предлагают Marvell, Cisco и Broadcom. У последней есть даже два новых ASIC для ИИ и с ИИ. Omni-Path в исполнении Cornelis Networks пока остановился на 400G.

NVIDIA одержала победу и в совсем уж неожиданном месте — Nebulon, один из пионеров концепции DPU (тогда ещё для хранилищ), отказалась от собственных чипов в пользу BlueField-3. Кажется, последней, кто ещё делает упор на СХД (но тоже для ИИ, конечно) в своих DPU, осталась Kalray. Остальные рассматривают и продвигают DPU как IPU, то есть решения не только и не столько для работы с данными, сколько меняющие подход к инфраструктуре в целом. Microsoft даже предлагает протестировать свои DPU MANA то ли полностью собственной разработки, то ли на базе Pensando или Fungible. Axiado предлагает пойти ещё дальше, взвалив на плечи созданных ею TCU (Trusted Control/Compute Unit) не только работу с виртуализацией, сетью и хранилищем, но и защиту с управлением всем сервером целиком при содействии… правильно, ИИ!

Источник изображения: Microsoft

У NVIDIA есть ещё один козырь — шина NVLink выбралась за пределы узла, кроме того, она быстрее всех других имеющихся интерконнектов. Хоть какую-то альтернативу в скором времени должна представить AMD, готовая слегка «приоткрыть» шину Infinity Fabric, которая базируется на PCIe. Как минимум для Broadcom, объявившей о поддержке XGMI в следующем поколении своих PCIe-свитчей. Со временем, быть может, появятся и отдельные XGMI-адаптеры. Прямо сейчас посредством «голого» PCIe объединять множество (буквально тысячи) ускорителей и узлов готова только GigaIO.

И так удачно совпало, что и PCIe 6.0 на подходе, и оптическим вариантом PCI Express тоже уже занимаются. Всё это пригодится не столько для Infinity Fabric, сколько для CXL. Собственно говоря, именно для CXL такой оптический интерконнект Photowave представила Lightelligence. При этом Google уже использует оптические коммутаторы с MEMS-переключателями в своих ИИ-кластерах. Meta✴✴ же опробовала вариант попроще, приставив к патч-панели роборуку.

HPC и суперкомпьютеры

Практически все анонсы новых машин в ушедшем году так или иначе упоминали ИИ. В этом нет ничего предосудительного, поскольку ИИ-инструменты вполне успешно дополняют традиционные расчёты. Но некоторым вендорам удержаться трудно, поэтому флопсы они считают как попало. Грубо говоря, почти любой условно классический суперкомпьютер с ускорителями, ориентированный на FP64-расчёты, можно использовать и для ИИ-нагрузок, но обратное не всегда верно — ИИ-суперкомпьютер с фантастической FP16-производительнстью для традиционных расчётов использовать обычно нет смысла, а иногда и попросту нельзя (если он построен на узкоспециализированных чипах вроде Cerebras или Gaudi).

Поэтому, когда, например, NVIDIA говорит об очередном самом мощном в мире суперкомпьютере, речь обычно идёт всё же про ИИ, если не оговаривается обратное. Если же опираться на классический рейтинг TOP500, то в нём более двух лет подряд лидирует первая в мире экзафлопсная система Frontier, которая собрала, наверное, все шишки, но позволила наладить процесс создания систем такого класса. Здесь, как обычно, следует оговориться, что в TOP500 попадают только те системы, владельцы которых пожелали это сделать, и что официальный Китай уже не первый год в этот рейтинг заявки не подаёт.

Источник изображения: Nebius

Вероятно, такого же подхода стоит ждать и от России, поскольку часть активов перестала быть российской. Но и про российские машины в условиях постоянного санкционного давления разумно лишний раз не распространяться. Хотя уникальные решения как раз имеются. Такие как универсальная HPC-платформа «РСК Экзастрим» с пиковой плотностью более 570 кВт на шкаф. Но не подаются в TOP500 и другие. Например, Tesla владеет одним из мощнейших в мире кластеров, который наверняка вошёл бы в десятку лидеров рейтинга. Но компания не захотела делать бенчмарки, она занята созданием ИИ-суперкомпьютера Dojo на собственных чипах D1.

Впрочем, в последней редакции TOP500 было несколько важных изменений. Туда наконец попали две многострадальные машины: Aurora и MareNostrum-5. Aurora вообще-то является 2-Эфлопс суперкомпьютером, но довести её до ума вовремя не успели. Противостоять ей будет El Capitan, тоже на 2 Эфлопс. Ещё один значимый новичок рейтинга — облачный суперкомпьютер Microsoft Azure Eagle. Это не первая облачная машина в принципе, но первая с действительно постоянной конфигурацией — кластер сформировали и протестировали буквально за несколько дней до сдачи в эксплуатацию. Eagle наглядно показал, насколько тонка стала грань между суперкомпьютером в облаке и облаком в суперкомпьютере.

Источник изображения: Intel

Год наступивший обещает быть интересным. Уже в январе итальянская Eni похвасталась 600-Пфлопс машиной HPC6. Первым же европейским экзафлопсным суперкомпьютером должен стать JUPITER. Эта модульная (во всех смыслах) система на первом этапе получит два блока. Один на базе гибридных чипов NVIDIA GH200, второй — на базе европейских процессоров SiPearl Rhea. И в обоих случаях речь идёт об Arm-платформе! Великобритания тоже хочет экзафлопсную машину, но это будет уже в 2025 году. В этом году она получит системы Isambard AI и Isambard 3. Первая мощна, но не слишком интересна в том смысле, что машин на базе GH200 будет уйма. А вот вторая полагается исключительно на Arm-процессоры Grace SuperChip без ускорителей и обещает стать одной из самых энергоэффективных в мире.

Рынок HPC в целом растёт и меняется. По данным Hyperion Research, на промежутке 2022–2027 гг. CAGR (совокупный среднегодовой темп прироста) всего on-premise-рынка HPC, куда входят железо, ПО и сервисы, составит 7,4 %. А вот для облачных HPC-нагрузок CAGR cоставит аж 18,1 %, причём в 2022–2023 гг. этот показатель и вовсе достиг 22,6 %. Проще говоря, HPC-задачи всё чаще запускают в облаках. Основным драйвером опять-таки является ИИ, инвестиции провайдеров (см. Eagle выше) и лучшее понимание того, какие задачи переносить в облако и как. Среди других факторов традиционно называются экономическая эффективность, гибкость, масштабируемость и доступ к новейшему оборудованию (в случае РФ скорее отсутствие такого у малых игроков).

Источник изображения: Hyperion Research

У облаков есть и ещё один неожиданный козырь — наличие квантовых компьютеров. К ним, как ожидает Hyperion Research, в 2025 году половина пользователей будет иметь как раз облачный доступ. А основными задачами станут моделирование и симуляции, оптимизация и… снова ИИ. Тогда же объём рынка, по предварительным оценкам, вырастет с текущих $770 млн до $1,2 млрд. Для сравнения — объём on-premise-рынка HPC в 2023 году составит $16,5 млрд. Ключевыми препятствиями на пути внедрения квантовых вычислений называют сложность их интеграции с имеющейся IT-инфраструктурой и убедительной демонстрации окупаемости. По данным IQM, инвестиции в квантовые технологии в 2023 году упали вдвое — деньги «украл» ИИ. Но квантовой зимы не будет, лишь небольшое похолодание.

ИИ подтолкнул и без того нараставшее использование ускорителей. И проблемы, с которыми столкнулись ЦОД при повышении плотности вычислений, суперкомпьютерные центры не обошли, даже несмотря на гораздо более богатый опыт. Крупные машины требуют уже не один десяток мегаватт, что не всегда хорошо сочетается с экоустойчивостью. HPC-центры заинтересованы в глубокой телеметрии нагрузок, что может привести к интересным эффектам. Например, пользователь может согласиться на более длительное выполнение задачи просто потому, что теперь с него берут деньги не за машинное время, а за фактическое энергопотребление. Или задуматься, есть ли вообще смысл портировать код на GPU или дешевле сразу уйти в облако.

Сделки и события

Сделка 2023 года — это, вне всяких сомнений, покупка VMware за $69 млрд. После завершения сделки Broadcom рьяно принялась за дело: отказалась от бессрочных лицензий в пользу подписок, закрыла полсотни продуктов и редакций и фактически разрушила партнёрскую сеть VMware. Broadcom оправдывает эти действия несправедливым преимуществом для Dell и других крупных вендоров, но пострадает от её действий в первую очередь малый и средний бизнес. Естественно, что компания также намерена побыстрее отбить затраты на покупку, как это было в своё время с Symantec.

Источник изображения: Broadcom/VMware

Вторая по величине сделка — покупка Splunk за $28 млрд — должна быть закрыта до конца этого года, в противном случае Cisco ждёт выплата одной только неустойки в размере $1,5 млрд. IBM отметилась покупками Apptio ($4,6 млрд) и пары платформ Software AG (€2,13 млрд) — всё для развития облака и ИИ. Micro Focus была продана за $5,8 млрд, а Alteryx за $4,4 млрд. Приобретение MosaiML (см. выше) за $1,3 млрд на фоне остальных сделок смотрится скромно, но для Databricks, оценка которой уже перевалила за $40 млрд, это важная инвестиция в будущее ИИ-решений. Первой же крупной сделкой, объявленной в 2024 году, является запланированное HPE поглощение Juniper Networks за $14 млрд. А ещё SUSE в 2024-м снова может стать частной компанией.

Действия Intel однозначно попадут в учебники будущего. Только в 2023 году она избавилась от коммутаторов и трансиверов, серверов и NUC (а это не только офисные и игровые ПК), а также FPGA-подразделения PSG, которое было сформировано после покупки Altera за $16,7 млрд в 2017 году. Впрочем, PSG на манер Mobileye выделено в независимую структуру с сохранением контрольного пакета за Intel. Компания надеется привлечь инвесторов и со временем выйти на IPO. Поведение Atos, вероятно, тоже попадёт в учебники. Весной 2023 года она предусмотрительно выделила часть активов в свежесозданную компанию Eviden. Сама Atos находится не в лучшем состоянии и пытается продать некоторые подразделения, чтобы поправить своё финансовое положение. Разве что о существенном сокращении персонала компания не объявляла, хотя подобные новости в 2023 году стали рутиной.

Источник изображения: SUSE

IBM, отчитавшись о том, что приобретение Red Hat за $34 млрд полностью окупилось, вероятно, решила слегка надавить на последнюю. Летом 2023 года Red Hat изменила политику доступа к исходному коду Red Hat Enterpise Linux (RHEL), оставив публичный доступ только к репозиториям CentOS Stream. Проще говоря, запретила создавать клоны RHEL, которые стали набирать популярность после отказа от «классической» CentOS, о чём Red Hat недвусмысленно и заявила. Юридически такой шаг вполне законен, но сообщество и крупные игроки резко раскритиковали компанию. В результате AlmaLinux отказалась от развития клона RHEL, а CIQ, Oracle и SUSE создали ассоциацию OpenELA, которая будет предоставлять исходный код и инструменты для создания downstream-сборок, совместимых с RHEL. В конце концов оказалось, что Red Hat навредила сама себе.

Российский рынок

ГК Softline вернулась на биржу, что, как считается, подтолкнёт и других игроков к IPO. Например, ГК «Астра» уже вышла на биржу, а Selectel, несколько поменявшая структуру владения, только готовится к IPO. YADRO вроде бы тоже не прочь стать публичной, да и ГК «Аквариус» также рассматривает такую возможность. «Росатом» закрыл самую крупную на российском рынке ЦОД сделку, отдав 23,8 млрд руб. за 35-МВт площадку TIER IV, что позволит ему улучшить позиции на растущем, несмотря на все санкции, российском рынке ЦОД. Он же приобрёл половину Kraftway, предположительно за 5 млрд руб. Первой крупной сделкой 2024 года стало отделение российского «Яндекса», которое обошлось в 475 млрд руб.

В целом российский IT-рынок растёт и развивается, но по-прежнему зачастую речь идёт об импортозамещении. С софтом всё не так уж плохо, за исключением ряда категорий вроде ERP или некоторых ИБ-решений, а также случаев закупок в обход санкций или даже пиратства. Затраты компаний на ПО бьют рекорды, а госкомпании и вовсе обязаны перейти на отечественный софт до конца года. Вместе с тем объём инвестиций в сфере ПО резко сократился, крупные компании продолжают скупать игроков поменьше, а избыток конкурирующих друг с другом решений остался. Хотя бы цены договорились резко не повышать, уже хорошо.

Источник изображения: «Яков и Партнёры»

ИИ в России тоже активно развивается. К концу 2023 года каждая пятая крупная российская компания уже применяла генеративный ИИ, причём все они полагались на решения OpenAI, а среди отечественных ИИ-инструментов предпочитали решения «Яндекса» и «Сбера». Экономический эффект от внедрения ИИ, как заявляют официальные лица, составляет около 1 трлн руб., а к концу десятилетия он вырастет на порядок. Более того, использование ИИ в некоторых проектах станет обязательным условием для получения государственных субсидий.

С «железом» по понятным причинам всё сложнее, чем с софтом. Стоимость российских процессоров выросла, а в качестве альтернативы им предлагаются китайские. Вместе с тем большинство российских компаний продолжают использовать зарубежные серверы. Даже отечественные вендоры считают, что на восстановление серверного рынка уйдёт несколько лет, а без господдержки не обойтись. При этом нельзя не отметить, что в России в 2023 году появилось крупное производство серверов — OpenYard.

Источник изображения: OpenYard

Телеком-рынок в России по чуть-чуть, но продолжает расти. В 2023 году заработала система «Антифрод», началось создание большой системы защиты от DDoS-атак, зарегулировали хостинг (а несговорчивых оштрафовали), призвали поскорее отказаться от зарубежных VPN и подключиться к Национальной системе доменных имён (НСДИ). И даже предложили обеспечить в стране запуск полного цикла производства оптоволокна. В общем, принят целый ряд мер по повышению устойчивости и безопасности Рунета.

Заключение

Тема генеративного ИИ будет эволюционировать и в 2024 году, но несколько по-иному. Эту технологию ждёт демократизация и переход от количественного развития к качественному. В прошлом году уже были случаи, когда LLM, созданная весной, к зиме становилась попросту неэффективной и дорогой в эксплуатации. Смешные на первый взгляд, но грустные по своей сути скрины переписок с ботами на крупных сайтах или карточки товаров тоже видели многие. ИИ станет более дисциплинированным и поможет максимизировать экономический эффект от имеющихся у компаний данных, но для этого нужна планомерная оценка рисков и уровня доверия к ИИ, его защищённости и безопасности в самом широком смысле, в том числе, например, регулярная аттестация моделей.

Всё потому, что ИИ будет глубже и шире проникать во все сферы деятельности. Это и разработка, для которой придётся выстроить новые платформы, и расширение возможностей всех остальных сотрудников, даже неквалифицированных. Gartner предсказывает интересные эффекты вроде расширения гиперперсонализированной работы с клиентами или роста автономных ботов, которые самостоятельно находят необходимые товары и услуги, подбирают подходящего поставщика и даже торгуются. Компаниям, да и частным пользователям явно придётся по вкусу автоматизация и оптимизация любой работы, если она сделана быстро и корректно. ИИ поможет добиться и устойчивого развития, за ширмой которого нередко скрывается возможность банально сэкономить. Правда, сам ИИ с его энергетическими запросами особенно экоустойчивым пока не назовёшь.

ИИ также сыграет роль и щита, и меча в кибербезопасности. Причём ещё не ясно, где он больше преуспеет, но риск атак будет всё выше и выше. В общем, технологический ландшафт генеративный ИИ если не перекроит, то изменит заметно. Причём мы видим только самое начало изменений. Сами же компании, как предсказывают аналитики, в сложившейся обстановке будут пытаться сохранить устойчивость, аккуратно оценивая инвестиции, просчитывая риски, сохраняя накопленное и оптимизируя всё, что только можно. Возможно, даже с помощью ИИ. А технологии для этого появятся, вот увидите. Главной же ценностью были и останутся люди!

В декабре корпорация Intel анонсировала новые решения под брендом Xeon. Главной «звездой» анонса стали процессоры Emerald Rapids — Xeon Scalable пятого поколения, которые идут на смену четвёртому поколению Sapphire Rapids. Это во многом существенный апгрейд, хотя Emerald Rapids являются скорее «разминкой» перед выходом Granite Rapids. При этом платформа у Sapphire Rapids и Emerald Rapids одна и та же — Eagle Stream.

Кроме того, Emerald'ы станут последними процессорами в рамках текущего подхода компании, поскольку на смену им идут сразу две серии CPU с E- и P-ядрами: Sierra Forest и Granite Rapids. Есть и другие нюансы. Так, например, пятое поколение Xeon включает несколько CPU, фактически относящихся к серии Sapphire Rapids. При этом в некоторых аспектах Emerald Rapids не дотягивают до Sapphire Rapids, поскольку среди них нет Max-процессоров и нет поддержки 4- и 8-сокетных систем.

Компоновка

Intel в своей презентации сделала упор на развитие ИИ-технологий и специфических ускорителей. С одной стороны, такой подход нельзя назвать новым — уже очень давно отставая от AMD по количеству ядер в сегменте серверных решений, Intel вынуждена отвечать асимметрично, упирая на дальнейшее расширение существующих наборов инструкций, таких как AVX-512, и на внедрение новых, таких как AMX, а также отдельных блоков для узких задач.

Источник: Intel via Tom's Hardware

В пятом поколении Xeon Scalable ситуацию с количеством ядер Intel удалось подтянуть — в серии Emerald Rapids есть и 64-ядерные модели. Но AMD-то опять успела уйти вперёд в количественном отношении с 96-ядерными процессорами EPYC Genoa, представленными более года назад. При этом AMD даже дала некоторую фору Intel, но последней это не особо-то и помогло.

Источник: Intel

Количественные показатели новых Xeon Scalable компания подтянула заметно: общий прирост производительности в сравнении с Sapphire Rapids по данным Intel составляет 21 %, а в инференс-сценариях — аж на 42 %. Для достижения столь серьёзного прироста Emerald Rapids, в числе прочего, получили поддержку памяти DDR5-5600 и увеличенный до 320 Мбайт кеш последнего уровня (LLC). Для обеспечения гибкости в конфигурации серверных подсистем памяти заявлена поддержка устройств CXL 1.1 Type 1/2/3.

Источник: Intel via ServeTheHome

Компания по-прежнему использует несколько разных типов компоновки, в отличие от AMD, жонглирующей одинаковыми «кубиками». Во флагманских моделях Emerald Rapids с числом ядер до 64 применяется компоновка XCC с двумя тайлами, в то время как в моделях с числом ядер до 32 применена более простая монолитная компоновка (MCC). Имеется также малоядерная, но энергоэффективная компоновка EE LCC, где количество ядер не превышает 20. Все ядра — Raptor Cove P-класса. Фактически это чуть подтянутые Golden Cove с переработанной архитектурой кешей и небольшим приростом IPC.

Источник: Intel via ServeTheHome

Это довольно серьёзный шаг вперёд в сравнении с Sapphire Rapids, где для старших моделей Intel была вынуждена использовать компоновку с четырьмя тайлами. Переработана и геометрия интерконнекта: ранее четыре тайла соединялись друг с другом посредством четырёх же мостиков EMIB, а теперь на два тайла приходится три мостика, что в теории должно положительно сказываться на производительности в случае активной пересылки данных между кластерами ядер в разных тайлах.

Источник: Intel via ServeTheHome

Также на четверть возросла производительность межпроцессорного интерфейса UPI, с 16 ГТ/с до 20 ГТ/с. Вкупе с более скоростной подсистемой памяти и возросшим LLC это даёт соответствующий эффект при полном сохранении платформенной совместимости: Emerald Rapids может работать в существующих платформах, рассчитанных на Sapphire Rapids. Потребуется только обновление BIOS и замена направляющей пластиковой рамки.

Источник: Intel via Tom's Hardware

Следует также отметить, что интерконнект был серьёзно оптимизирован именно с точки зрения энергопотребления, что позволило достичь 1,34-кратного превосходства в удельной производительности. Обновлённый комплекс более тонко оперирует частотами и имеет несколько новых режимов энергосбережения, таких как active idle mode и optimized power mode. Эффект от этого наиболее ярко выражен в режимах с низкой нагрузкой (порядка 30–40 % разницы) и позволяет снизить энергопотребление на величину до 110 Вт на процессор.

Источник: Intel via ServeTheHome

Повышенния экономичности и производительности не удалось бы добиться без переработки управления тактовыми частотами в турборежимах, которых теперь пять вместо четырёх. Новые процессоры могут более гибко регулировать частоты при активном использовании AVX-512 или AMX. По сути, Intel исправила ошибку, за которую критиковали первые поколения Xeon Scalable — серьёзную просадку частоты при использовании AVX-512, способную съедать заметную часть прироста производительности.

Модельный ряд

Всего Intel в пятом поколении представила 32 модели процессоров Xeon Scalable, однако только 27 из них являются «истинными» Emerald Rapids. Ещё пять процессоров — Xeon Gold 6554S, Xeon Bronze 3508U, Xeon Silver 4509Y, Xeon Silver 4510 и Xeon Silver 4510T — технически относятся к поколению Sapphire Rapids. Впрочем, относительно первого CPU в этом списке офсайт Intel ясности не даёт. Все процессоры производятся с использованием одного того же техпроцесса Intel 7 (10 нм ESF).

Источник: Intel via Tom's Hardware

Ценовые рамки здесь скромнее, нежели в предыдущем поколении, но не стоит забывать, что речь идёт только о чипах для двухсокетных систем, в то время как в серии Sapphire Rapids были представлены и варианты для четырёх- и восьмисокетных систем. При взгляде на модельный ряд Emerald Rapids бросается в глаза серьёзная дифференциация моделей по объёму кеша: в списке имеются модели как с большим объёмом LLC, от 160 до 320 Мбайт, так и версии, оснащённые лишь 22,5–60 Мбайт кеша, что более характерно для Xeon Scalable предыдущих поколений.

Серьёзно варьируются и доступные блоки ускорителей. Сама Intel называет такую стратегию гибкой и дающей потребителям возможность выбора, но некоторые рамки, установленные компанией, выглядят неочевидно. В первую очередь это касается «игр» с поддержкой быстрой памяти. Да, EPYC Genoa ограничены DDR5-4800, но, во-первых, у решений AMD 12-канальный контроллер против 8-канального у Emerald Rapids, а во-вторых, эти параметры одинаковы для всего модельного ряда EPYC 9004. У Intel же мы видим прямо противоположный подход.

Источник: Intel via ServeTheHome

Хотя для Emerald Rapids и заявлена поддержка DDR5-5600, фактически менее четверти анонсированных CPU поддерживают соответствующую память, причём такая поддержка есть даже не у всех моделей Platinum. Особенно странно это смотрится в сегментах 5G/Networked Optimized и Cloud. Модели Xeon Gold вообще ограничены поддержкой DDR5-5200. Кроме того, ни одна из флагманских моделей Emerald Rapids, поддерживающих DDR5-5600, не имеет полного набора акселераторов.

Есть небольшие изменения в схеме наименования CPU — Emerald Rapids получила достаточно стройную систему суффиксов, описывающих основную сферу применения того или иного процессора. Что касается теплопакета, то его рамки, в основном, ограничены цифрой 350 Вт. Лишь одна модель, Xeon Platinum 8593Q, то есть 64-ядерный вариант с турбо-частотой 3,0 ГГц для всех ядер, ориентированный на работу в связке с СЖО, имеет базовый TDP на уровне 385 Вт.

Производительность

Intel приводит официальные данные о производительности и энергоэффективности Emerald Rapids, однако делает это в несколько странной манере. От лица пятого поколения выступает флагманский 64-ядерный Xeon Platinum 8592+, однако сравнивается он почему-то с разными моделями четвёртого поколения, что вносит серьёзную путаницу.

Источник: Intel via ServeTheHome

В тестах Web, Data Services и AI выступает 56-ядерный Xeon Platinum 8480+, в сегменте HPC выбран 60-ядерный Xeon Platinum 8490H, изначально разработанный для 4S и 8S-систем и несравнимый с двухсокетными Emerald Rapids по цене. В сетевых тестах (Network) и вовсе участвует 52-ядерный Xeon Platinum 8592+.

Источник: Intel via ServeTheHome

Конечно, в таком свете 64-ядерный флагман пятого поколения будет смотреться выгодно, с учётом его более быстрой памяти и объёмного кеша LLC, но почему-то Intel не рискнула сравнить его с Xeon Max с набортной памятью HBM2e. Известно, что в поколении Emerald Rapids таких процессоров не будет, но и вариант на базе Sapphire Rapids мог бы оказаться опасным соперником, особенно в задачах класса HPC и при работе с объёмными LLM.

Источник: Intel via ServeTheHome

А вот пристальное внимание к вопросам латентности выглядит совершенно оправданно: благодаря новой компоновке, использующей два тайла с тремя EMIB-каналами против четырёх тайлов у Sapphire Rapids, где диагональные относительно друг друга тайлы должны были связываться друг с другом через лишнюю «остановку», задержки удалось существенно снизить. NUMA-режимы SNC4 и Quad теперь по понятной причине не поддерживаются даже для XCC-компоновки, где по умолчанию включён режим SNC2.

Источник: Intel via ServeTheHome

Одним из достаточно важных нововведений в Emerald Rapids является аппаратная поддержка расширений TDX (Trust Domain Extensions). Фактически это новый режим работы процессора, т.н. SEAM (Secure Arbitration Mode), в котором виртуальная машина может быть полностью изолирована от всего, что происходит вне доверенного домена. Шифрование содержимого памяти такого домена выполняется аппаратно, поэтому штраф производительности минимален, а итоговая производительность ВМ оказывается всё равно выше, нежели на процессорах без поддержки TDX.

Источник: Intel via ServeTheHome

Intel также очень активно рекламирует наличие специфических акселераторов, поскольку их использование при должной поддержке со стороны ПО позволяет порой достичь 10-кратного выигрыша в производительности и особенно в энергоэффективности.

Источник: Intel via ServeTheHome

Отдельное внимание уделено тестам в различных ИИ-сценариях. Превосходство Xeon Platinum 8592+ над Xeon Platinum 8480+ полностью закономерно: новинка имеет больше ядер, более чем в три раза объёмный кеш LLC, более тонко управляет турбо-частотами и работает с более быстрой памятью. Вряд ли Emerald Rapids будет активно использоваться при обучении нейросетей, поскольку это удел ускорителей. А вот в инференс-системах прирост скорости может оказаться весьма к месту.

Источник: Intel via ServeTheHome

Причины говорить о более низком энергопотреблении Emerald Rapids в режимах простоя и малой нагрузки у Intel есть. Это в основном заслуга новой двухтайловой компоновки, которая должна решить проблему с крайне высоким потреблением в таких режимах, характерную для Sapphire Rapids. Для двухпроцессорного сервера разница может достигать 200–220 Вт, но на практике новые решения демонстрируют выигрыш в 160–180 Вт, что, впрочем, тоже неплохо.

Источник: Phoronix

Тесты Phoronix показали, что платформа с двумя 64-ядерными Intel Xeon Platinum 8592+ почти на четверть опередила пару 60-ядерных Platinum 8490H и оказалась близкой к двум 64-ядерным AMD EPYC 9554. А вот влияние памяти DDR5-5600 на производительность оказалось не слишком большим и в среднем составило менее 2 %. Разумеется, в определённых типах нагрузок преимущество очевидно, но и стоит более продвинутая DDR5-5600 пока что заметно больше, чем DDR5-4800.

Выигрыш в экономичности также зафиксирован, хотя и не столь существенный, как обещает Intel. Проверка нового режима Optimized Power Mode в BIOS показала, что по умолчанию данный режим не используется, а его активация действительно позволяет серьёзно снизить энергопотребление Emerald Rapids в режимах средней и малой загрузки. При этом обеспечивается общая производительность на уровне 93 % от той, которая была получена с отключенным режимом оптимизации питания, хотя результаты сильно варьируются в зависимости от характера конкретной нагрузки.

Заключение

Emerald Rapids — несомненно заметный шаг вперёд для Intel. Наконец-то преодолён своего рода «психологическиий барьер» в количестве ядер, и, хотя AMD по этому параметру вновь успела уйти вперед, появление 64-ядерных Xeon важно для Intel. Особенно с учётом серьёзной работы над ошибками: Emerald Rapids получили более эффективную двухтайловую компоновку с меньшей латентностью и большей межтайловой пропускной способностью.

Источник: Intel

По сути, в этом поколении количественно подтянуты все основные подсистемы: UPI, DDR5, LLC. Это позволяет Emerald Rapids конкурировать с соответствующими моделями AMD EPYC. Сохранена и платформенная совместимость с Sapphire Rapids, хотя далеко не факт, что все платформы успели пройти валидацию на работу с более быстрой памятью. Однако в поколении Emerald Rapids Intel вовсе не собирается соревноваться с AMD в количестве процессорных ядер.

Источник: Intel

Одна из главных целей Emerald Rapids — легкий апгрейд имеющихся систем на базе Sapphire Rapids, позволяющий получить серьёзный прирост производительности относительно малой ценой, а также снижение TCO при модернизации инфраструктур третьего и более ранних поколений Xeon Scalable. Intel активно продвигает концепцию акселераторов, приводя цифры, позволяющие сравнить стоимость владения инфраструктур на базе Xeon Scalable первого, третьего и пятого поколений, как при развёртывании, так и при модернизации.

Источник: Intel

Денежная экономия получается внушительная, однако в процессе планирования такой модернизации или закупки новых серверов для ЦОД следует учитывать, что оснащённость акселераторами у разных моделей Emerald Rapids очень разная. Потребуется тщательный анализ с учётом планируемых сценариев и нагрузок, поскольку иначе уникальные возможности Emerald Rapids могут пропасть даром.

Источник: Intel

В то же время, решения AMD такого тщательного планирования не требуют, поскольку обладают идентичным набором возможностей по всему модельному ряду, а заодно могут предложить повышенную вычислительную плотность ввиду большего максимального числа ядер на процессорный разъём.

Упаковка

С инженерно-технической точки зрения MI300 развивает идеи, заложенные ещё в серии MI200. Но упаковка и конструкция продуктов в поколении CDNA3 стала значительно более сложной и продвинутой. С появлением MI300, наконец, можно говорить о по-настоящему гетерогенной архитектуре, активно использующей как горизонтальную, так и вертикальную интеграцию модулей. Достигнуто это благодаря применению технологий упаковки, использующих продвинутую подложку-интерпозер CoWoS.

Чип может содержать до восьми модулей ускорителей (XCD) и четыре модуля ввода-вывода (IOD), включающих системную инфраструктуру и объединяющих чиплеты в единое целое посредством интерконнекта Infinity Fabric. Модули IOD отвечают и за взаимодействие с восемью сборками высокопроизводительной памяти HBM3. Все 12 модулей работают как единое целое с программной точки зрения и насчитывают совокупно до 153 млрд транзисторов. Итоговая сборка сравнима по сложности с Ponte Vecchio.

Источник: AMD

Непосредственно на интерпозере размещаются модули IOD и сборки HBM3, а уже поверх IOD устанавливаются вычислительные чиплеты. Они соединяются с нижележащими чиплетами посредством технологии, отработанной AMD в решениях с 3D V-Cache. Площадки Bond Pad Via (BPV) в нижней части XCD точно совмещаются с посадочными местами на вершине IOD, куда выведены пронизывающие кристалл по вертикали TSV-соединения. Любопытно, что верхние чиплеты могут устанавливаться в двух положениях: обычном и развёрнутыми на 180°.

Источник: AMD via ServeTheHome

MI300 существует в двух ипостасях: «чистый» ускоритель MI300X, который включает восемь XCD, и гибрид MI300A, где есть шесть модулей XCD, дополненных тремя модулями CCD, которые в сумме дают 24 x86-ядра Zen 4. Чиплетов во втором случае уже 13, но транзисторов несколько меньше (146 млрд), поскольку ядра Zen проще XCD.

Вместимость кеша Infinity Cache в обоих случаях составляет 256 Мбайт. Не меняется и конфигурация сборок HBM3, лишь их объём, составляющий либо 16, либо 24 Гбайт на блок. Теплопакет у новинок AMD примерно одинаков: 750 Вт у MI300X в конструктиве OAM и 760 Вт у гибридного MI300A, больше похожего на обычный EPYC Genoa.

Источник: AMD

Модули XCD в архитектуре CDNA 3 меньше аналогичных «строительных блоков» CDNA 2. Они содержат меньше исполнительных блоков (CU), но это позволяет компоновать решения MI300 более гибко, так что в итоге общее количество CU может достигать 304, что на 40 % больше аналогичного показателя MI250X. Часть ресурсов в XCD общая для всех CU: планировщик, аппаратный организатор очередей, 4 Мбайт кеша L2. Также здесь имеется четыре движка Asynchronous Compute Engines (ACE), обслуживающих 40 CU. По умолчанию активно только 38 CU. Два отключены для увеличения выхода годных кристаллов, но вполне вероятно, что для особо требовательных заказчиков будут отобраны 40-блочные кристаллы.

Источник: AMD

В CDNA3 AMD полностью переработало архитектуру памяти, начиная с кешей L2 и заканчивая переходом на HBM3. Это позволило избежать потенциально узких мест: так, пропускная способность L2 в XCD достигает 51,6 Тбайт/с, Infinity Cache может передавать данные на скорости 17,2 Тбайт/с, и он же общается со сборками HBM3 на скорости до 5,3 Тбайт/с. В случае с MI300A унифицированная архитектура памяти позволяет избежать «длинных путей» при обмене данными между CPU и GPU — HBM-пул у APU единый, к нему равноправно может обращаться любой из компонентов ускорителя, будь то XCD или CCD. Это существенно отличается от более гетерогенного подхода NVIDIA в GH200.

Спецификации

Спецификации MI300A и MI300X достаточно близки: как уже было сказано, обе новинки основаны на архитектуре CDNA3 и, по сути, отличаются только заменой двух вычислительных модулей XCD у MI300A на три модуля с процессорными ядрами x86 общего назначения да менее ёмкими сборками HBM3.

Источник здесь и далее: AMD

Оба чипа производятся на мощностях TSMC с использованием 5-нм техпроцесса (6-нм для модулей IOD), оба имеют по восемь сборок HBM3 с одинаковой пропускной способностью в районе 5,3 Тбайт/с, но сами сборки неодинаковы — у стандартного ускорителя объём набортной памяти составляет 192 Гбайт, в то время как у APU лишь 128 Гбайт.

Коммуникационные возможности модулей IOD сконфигурированы по-разному. У MI300X каждый из них «смотрит в мир» семью линиями Infinity Fabric, что в числе прочего делает легко реализуемой топологию с восемью ускорителями без применения дополнительных средств коммутации. Оставшиеся линии сконфигурированы как порты PCI Express 5.0 x16. И это важное отличие от NVIDIA H100, где требуются чипы NVSwitch, которые вообще-то холодными не назовёшь.

Источник: AMD

Более универсальный MI300A имеет лишь четыре линии Infinity Fabric на IOD, остальные линии сконфигурированы в виде четырёх портов PCIe 5.0. Это вполне логично, поскольку APU предстоит общаться с большим числом периферийных устройств, как у MI300X PCIe служит лишь для связи с хост-процессором. С другой стороны, для MI300X идеальная конфигурация, когда на каждый ускоритель приходится один сетевой интерфейс, не оставляет возможностей для подключения накопителей без использования PCIe-коммутатора.

Максимальная тактовая частота XCD у обоих вариантов составляет 2,35 ГГц. Но в силу того, что общее количество потоковых процессоров и матричных ядер у чипов разное — 19456/126 и 14592/912 соответственно — отличается и производительность. Но даже MI300A в векторном и матричном режимах FP32/64, по словам AMD, примерно вдвое быстрее NVIDIA H100 SXM, а в ИИ-режимах пониженной точности не уступает последнему. MI300X, имеющий на 2 модуля XCD больше, пропорционально быстрее. В целом, складывается ощущение, что MI300 в отличие от H100 изначально проектировался для FP64-нагрузок.

Источник: AMD via ServeTheHome

Как видно из сравнения характеристик MI300X и NVIDIA H100 SXM, первенство AMD вполне закономерно: здесь и больший объём более быстрой памяти, и серьёзный выигрыш во всех вычислительных режимах, от INT8 до FP64. Небезынтересно и сравнение на уровне платформ, ведь в распоряжении NVIDIA есть платформа HGX H100, также использующая восемь ускорителей на узел.

Источник: AMD

В первую очередь, бросается в глаза серьёзный выигрыш в объёме локальной памяти, почти в 2,5 раза — и здесь преимущество AMD очевидно, поскольку объёмы используемых в обучении ИИ-моделей растут день ото дня и 1,5 Тбайт памяти HBM3 лишними явно не окажутся. Именно за счёт объёма памяти выигрыш AMD может оказаться существеннее, особенно в задачах инференса.

Источник: AMD

Также стоит отметить, что по параметрам систем интерконнекта обе платформы весьма близки и явного лидерства не прослеживается. Тем не менее, нельзя не отметить, что, во-первых, это собственные тесты AMD, к которым у NVIDIA уже появились претензии, а во-вторых, NVIDIA в скором времени выпустит ускорители H200 (141 Гбайт HBM3e с ПСП 4,8 Тбайт/с) и GH200 (624 Гбайт HBM3e + LPDDR5x, ПСП 4,9 Тбайт/с). AMD ответила на претензии NVIDIA — MI300X всё равно быстрее H100 в инференсе.

Источник: AMD via ServeTheHome

У MI300A ситуация не менее интересная, если сравнивать эту новинку с H100. Новый APU позиционируется AMD в качестве «строительного блока» для HPC-систем нового поколения. В нагрузках, характерных для мира HPC, важна как подсистема памяти, где у AMD вновь первенство, так и производительность в режимах FP32 и FP64. И здесь даже чисто теоретически у MI300A имеется двукратное преимущество перед H100, который, к тому же не умеет работать в режиме матричных вычислений FP32. В реальных задачах выигрыш может быть выше именно за счёт новой архитектуры памяти.

Источник: AMD

В стандартном примере OpenFOAM motorbike новый APU опередил H100 в четыре раза, работая при этом с теплопакетом 550 Вт против 700 Вт у NVIDIA. И даже при сравнении MI300A в режиме TDP 760 Вт энергоэффективность демонстрируется вдвое более высокая, нежели может показать ускоритель NVIDIA. Поэтому можно смело сказать, что новые суперкомпьютеры на базе AMD MI300A будут не только быстрыми, но и экономичными.

Архитектура CDNA3

Общая структура кристаллов XCD уже описана выше, пора «нырнуть» глубже. Каждое исполнительное устройство (CU) в составе XCD представляет собой законченный многопоточный процессор с планировщиком, L1-кешем 32 Кбайт и областью Local Data Share (LDS). Последняя служит для более эффективного обмена данными между вычислительными ядрами в пределах XCD и лучшей загруженности этих ядер.

Источник: AMD

Каждые два блока CU имеют общий восьмиканальный множественно-ассоциативный кеш инструкций объёмом 64 Кбайт, что вдвое выше, нежели в CDNA2. Таков же объём LDS. Размер линии кеша вырос вдвое, с 64 до 128 байт. Соответственно была расширена и шина запроса из кеша данных L2, а значит, вдвое выросла пропускная способность в этой точке.

Источник: AMD

Сами ядра архитектурно похожи на ядра CDNA2, однако конструкция была существенно переработана в целях обеспечения более эффективного параллелизма на всех уровнях. В ряде случаев производительность при выполнении векторных или матричных операций удалось поднять вдвое или даже вчетверо. Но самым главным нововведением в CDNA3, пожалуй, следует считать обновление матричных ядер, призванных максимально эффективно работать с типами данных, характерных для ИИ-нагрузок.

Источник: AMD

Они поддерживают как FP16 и BF16, характерные для режима обучения, так и INT8, активно использующийся в инференс-режиме. В сравнении с MI250X новые матричные ядра MI300 почти в 3,5 раза быстрее в первом случае и в 6,8 — во втором. В режимах FP32 и FP64 выигрыш меньше, но всё равно составляет до 1,7 раз.

Кроме того, MI300 получил поддержку новых типов данных: FP8 и TF32. Последний представляет собой нечто средние между FP16 и BF16, и позволяет заменить FP32 при обучении без потерь точности, обеспечив при этом более высокую производительность. Кроме того, такой режим лишён определённых недостатков FP16 и BF16: первый не очень хорош для больших языковых моделей (LLM), а у BF16 мантиссы может не хватить для некоторых систем машинного зрения.

Источник: AMD

Режим FP8 введён с целью достижения максимальной производительности при минимальной заполненности памяти. CDNA3 поддерживает два варианта этого режима, описанных в спецификациях OCP 8-bit Floating Point: E5M2 для обучения и E4M3 для инференса. В таком режиме может быть достигнута производительность в 16 раз выше, нежели в режиме FP32.

Источник: AMD via ServeTheHome

Наконец, в матричных ядрах появилась эффективная поддержка разреженных данных (sparse data), что позволяет вдвое поднять формальную производительность на реальных данных. При этом появление поддержки разреженных вычислений вносит некоторую сумятицу при сравнении с другими чипами, чем уже воспользовались некоторые вендоры.

Представляет интерес и новая иерархия подсистем памяти. В CDNA3 она была полностью переработана в сравнении CDNA2, дабы более полно раскрыть потенциал гетерогенной чиплетной архитектуры MI300 и обеспечить автоматическую когерентность кешей, начиная с уровня L2.

Источник: AMD via ServeTheHome

Роль последнего из-за внедрения Infinity Cache в качестве кеша последнего уровня изменилась. Ряд функций работы с памятью был перенесён из L2 в Infinity Cache, а сам кеш L2 переработан, чтобы лучше справляться с наплывом разнообразных потоков данных, поддерживая при этом их изоляцию от трафика поддержания когерентности. По сути, L2 является «точкой обмена» — именно через L2-кеш идёт всё общение XCD с остальными блоками.

L2-кеш работает в режиме write-back и имеет объём 4 Мбайт. При этом он 16-канальный и множественно-ассоциативный, а каждый из каналов может независимо обращаться к 256-Кбайт блоку, что важно, поскольку кеш делится между всеми 38 CU, входящими в состав XCD. Возможно одновременное чтение из кеша по четырём запросам от разных CU за такт линиями по 128 байт. При записи объём на линию вдвое меньше, то есть 64 байта на канал на такт, но также поддерживается один запрос к Infinity Cache.

Источник: AMD via ServeTheHome

Когерентность L2 поддерживается в пределах XCD, а Infinity Cache использует snoop-фильтр таким образом, чтобы все запросы на когерентность от соседних XCD не перегружали и без того активно используемые разделы L2. Infinity Cache в MI300 может содержать обычно не кешируемые структуры данных, такие, например, как IO-буфера. Производительность при этом достигает 17,2 Тбайт/с, то есть находится на уровне, характерном для L2-кешей решений предыдущего поколения.

Этот кеш также 16-канальный множественно-ассоциативный. Он связан со сборками HBM сразу 16 параллельными каналами шириной 64 байта каждый. На четыре кристалла IOD приходится восемь сборок HBM3, то есть суммарно 128 каналов. Как уже упоминалось, сборки HBM3 могут иметь ёмкость 16 или 24 Гбайт, а формируемый ими пул памяти является унифицированным для XCD и CCD в случае MI300A.

Источник: AMD

Технически массив XCD может быть разделён на виртуальные GPU, что немаловажно для облачных сценариев, но может выступать и как единый большой GPU. Гранулярность разбиения, впрочем, разная: восемь разделов для MI300X, но лишь три для MI300A, то есть по два XCD на каждый из трёх CCD.

Источник: AMD

Разделяемым может быть и ресурс сборок HBM, но только при условии, что количество разделов памяти не превышает количество собственно разделов GPU. Новые решения AMD полностью поддерживают изоляцию разделов и предоставляют SR-IOV. Разделение работает на уровне ОС, драйвер ускорителя служит клиентом для менеджера памяти операционной системы.

Источник: AMD

Что касается общения с внешним миром, то каждый кристалл IOD содержит два линка Infinity Fabric по 16 линий в каждом: всего в составе MI300X доступно восемь каналов по 16 линий, из них семь предназначены для связи с другими чипами в составе OAM-шасси на восемь чипов, а восьмой конфигурируется в качестве PCI Express 5.0 и служит для общения с периферией. Такая конструкция идеально вписывается в стандарт OCP Universal Base Board (UBB).

Источник: AMD

У APU MI300A топология несколько иная. В рамках четырёхпроцессорной системы каждый чип связан с соседями посредством двух линков Infinity Fabric с пропускной способностью 256 Гбайт/с, а часть ресурсов IF используется для организации портов PCIe 5.0 x16, разъёмов M.2 и прочей периферии. Такой вариант предпочтителен для организации универсальных процессорных узлов для задач HPC, ведь он будет включать в себя не только 912 CU с архитектурой CDNA3, но и 96 процессорных ядер Zen 4.

XGMI как ответ на NVLink

Несмотря на то, что архитектура и конструкция MI300X позволяет создавать вычислительные узлы с восемью OAM-модулями ускорителей, встаёт вопрос: насколько новая архитектура AMD готова к масштабированию на более высоких уровнях? В основном AMD возлагает надежды на Ethernet/Slingshot или иной интерконнект с интерфейсом PCIe 5.0. Но теперь у неё есть ответ и на NVIDIA NVLink 4. Последний NVIDIA уже приспособила для GH200 NVL32 — наборного ускорителя размером с целую стойку.

Источник: AMD

Infinity Fabric базируется на PCI Express, но при этом может работать практически на любом уровне, от соединения чиплетов в составе процессоров и ускорителей AMD до межсокетного интерконнекта. При необходимости шина легко конфигурируется в PCIe 5.0 и CXL. Это упрощает создание коммутаторов более высокого уровня, чем и займётся Broadcom, объявившая о поддержке XGMI и Infinity Fabric в следующем поколении своих PCIe-свитчей. Ожидается, что будут созданы и сетевые адаптеры с поддержкой XGMI.

Источник: AMD

Таким образом, при построении ИИ-кластера на базе MI300 появится возможность избежать потерь эффективности при передаче данных в достаточно длинной цепочке «CPU-GPU/PCIe/RDMA-Ethernet». Связка «XGMI-XGMI» в таком случае весьма интересна, особенно в масштабных задачах обучения ИИ. Так что XGMI-интерконнект на уровне стойки и кластера выглядит многообещающе. GigaIO уже готова создавать облака из тысяч MI300X.

ROCm 6 и экосистема ПО

В деле использования ускорителей, особенно в больших масштабах, вопрос наличия удобного и популярного ПО для работы является критическим и в значительной мере определяет успех платформы. Ранее AMD пыталась опираться на открытые стандарты и решения, а также модульность, что, по замыслу компании, должно было привлечь новых разработчиков и сформировать полноценную экосистему.

Источник: AMD

Политику компания не поменяла — практически все компоненты грядущей платформы ROCm 6 используют открытые лицензии, от драйверов до компиляторов и комплекта HPC- и ИИ-библиотек. Необходимая документация к ROCm доступна на сайте AMD, а для компонентов доступны и соответствующие репозитории с открытым кодом.

Источник: AMD via ServeTheHome

А вот общий подход AMD, наконец, изменила, вложившись в развитие ПО и заключив за последний год массу новых партнёрств. Первой ласточкой стала интеграция с PyTorch, а затем с Lamini и MosaicML. Во время анонса MI300 было объявлено о поддержке OpenAI Triton, а вчера компания сообщила о совместной работе с ONNX.

Источник: AMD via ServeTheHome

В шестой версии ROCm были серьёзно оптимизированы все компоненты, от ядра системы до библиотек инференса. В сочетании с новыми ускорителями MI300X это позволяет AMD говорить о восьмикратном преимуществе над платформой MI250 с ROCm 5. Экосистема, совместимая с новыми решениями AMD, уже довольно внушительна и продолжает расти, хотя до программной платформы NVIDIA ей пока далеко.

Источник: AMD

Внимание к MI300 и CDNA3 в целом у рынка достаточно высоко, в список заинтересованных компаний входят как ведущие производители серверного и сетевого оборудования, так и крупные софтверные гиганты, включая Microsoft или Oracle, а также провайдеры ЦОД и облачных услуг.

Источник: AMD

Ускорители Instinct MI300X поставляются заказчикам уже сейчас, массово производятся и гибридные процессоры MI300A, уже успевшие прописаться в суперкомпьютере El Capitan. Судя по всему, MI300 ждёт удачная судьба — у новинок AMD есть все необходимые качества, чтобы завоевать достойное место под солнцем на рынке ИИ и HPC. Компания рассчитывает поставить 400 тыс. ускорителей в следующем году. Впрочем, рынок, остро нуждающийся в ускорителях NVIDIA, похоже, готов поглотить любые объёмы альтернативных ускорителей, лишь бы сроки поставок не были столь пугающими. Кто-то вообще вынужден обходиться CPU.

Однако новая реальность диктует свои правила. Все крупные вендоры официально поставки и обслуживание своего оборудования в РФ прекратили, а самые ответственные даже заблокировали доступ к собственным сайтам. Есть, конечно, обходные пути, но за дополнительные деньги, время, а иногда и нервы. Вместе с тем в РФ уже давно существует рынок б/у-систем, к которому по трезвом размышлении и было решено обратиться.

Да, такое оборудование не самое новое (во всех смыслах), но зато выбор и доступность его достаточно велики, да и проблем с запчастями и иными комплектующими обычно нет. Основные опасения вызывает надёжность таких систем, которую нам и предстоит выяснить на собственном опыте. Но в общем случае подобное оборудование скупается у какого-нибудь крупного потребителя, который проводит регулярный массированный апгрейд инфраструктуры.

Так что и работает это оборудование, как правило, в надлежащих условиях, и проверку с заменой при необходимости отдельных узлов перед поставкой новому клиенту тоже проходит. Некоторые ещё упоминают экологичность, что тоже верно в том смысле, что электронных отходов будет гораздо меньше при повторном использовании. Но вот по итоговой энергоэффективности старые серверы соперничать с новыми вряд ли могут. Впрочем, это далеко не всегда критично.

Ещё одна важная особенность — в зависимости от производителя и возраста конкретного сервера разнится срок сопровождения платформы. То есть частота и оперативность выхода прошивок, ПО, драйверов и т. д. Это важно и для безопасности, и для корректности работы, и для доступа к новым функциям. Крупные «белые» вендоры нередко выпускают критические обновления даже после официального окончания поддержки платформы, но вот на прочие апдейты рассчитывать не стоит.

Про производительность отдельно не говорим — под каждую задачу нужна своя конфигурация. А вот что действительно стоит уточнить, так это вопрос совместимости. Речь как об интеграции в имеющуюся инфраструктуру, так и о списке поддерживаемых платформой компонентов, и о программной составляющей, и о возможности апгрейда в будущем. В любом случае призываем аккуратно просчитать все возможности, выгоды и риски перед тем, как решиться или не решиться на покупку б/у-оборудования.

Новый старый сервер

Мы же остановились на компании Galt Systems, которая выяснила требования и предпочтения и предложила на выбор несколько конфигураций, скорректировав по ходу общения некоторые параметры машины и проконсультировав по ряду вопросов. В итоге выбор пал на платформу Dell PowerEdge 730: 2 × Intel Xeon E5-2695 v4 (18C/36T, 2,1/3,2 ГГц, L3-кеш 45 Мбайт, TDP 120 Вт, FCLGA2011-3), 24 × DIMM DDR4, SFF-корзина на 16 накопителей SAS-3/SATA-3, RAID-контроллер PERC H730, 2 × БП 495 Вт, 4 × 1GbE (RJ-45). Стоит такая базовая конфигурация 122 350 руб. (стоимость может меняться в связи с колебаниями курса валют). Конкретный набор опций и стоимость лучше уточнять непосредственно перед покупкой, но порядок цен понятен.

Galt Systems закупает оборудование из крупных дата-центров Европы и США, то есть оно содержалось и эксплуатировалось в адекватных условиях. Перед закупкой у поставщика в обязательном порядке запрашивается фото, а при поступлении на склад оборудование проверяется визуально и программно в различных тестах. В целом, компания, по её словам, имеет широкую сеть поставщиков в Европе, США, Китае и России. На складе компании доступно более 2000 наименований серверных комплектующих, а также сетевое оборудование. Конкретную конфигурацию или комплектующие можно подобрать из того, что есть в наличии, или же заказать отдельно.

Перед отправкой заказчику оборудование подвергается осмотру и нагрузочному тестированию с отправкой логов и видео по его желанию. На системы и комплектующие с сокетом LGA1366/2011 стандартная гарантия составляет 1 год, а на платформы с сокетом LGA2011-3/3647 — 3 года. Гарантию можно продлить до 5 лет. У Galt Systems есть собственный сервисный центр. Компания обещает, что среагирует на обращение в течение часа. При необходимости специалисты компании могут самостоятельно забрать неисправное оборудование.

Dell PowerEdge R730

В нашем случае конфигурация включала корзину на 8 накопителей с лотками для них, два блока питания мощностью 750 Вт каждый, рельсы и салазки, сетевые порты RJ45 2 × 1GbE (Intel I350) + 2 × 10GbE (Intel X540), 8 × 32 Гбайт DDR4-2400 ECC Registered (Micron), PERC H730P Mini (2 Гбайт + BBU; 8 портов; RAID0/1/5/10/50/60, Non-RAID/HBA). Для тестов ко всему этому были добавлены наши базовые накопители Intel/Solidigm D3-S4510 (1,92 Тбайт SATA SSD) в количестве шести штук: два в зеркале (под ОС) и четыре в RAID5. Вот эту машину и рассмотрим, тем более что ранее публично доступных обзоров серверов Dell такого класса у нас не было в принципе.

Ссылку на официальное описание продукта на всякий случай дадим, но Dell давно запретила доступ к своему сайт с территории РФ, так что можно воспользоваться альтернативным источником. Но если говорить коротко, то Dell PowerEdge 730 — это универсальный двухсокетный 2U-сервер (стандартной глубины) на базе чипсета серии Intel C610 для CPU Intel Xeon E5-2600 v3/v4 (Haswell-EP/Broadwell-EP). Процессоры эти далеко не новы: например, у них нет поддержки AVX-512 и некоторых других более современных наборов инструкций.

Максимальный объём памяти — 3 Тбайт DDR4-2400 в 24 DIMM. Поддерживаются четырёхранговые LRDIMM объёмом 64/128 Гбайт, которыми как раз и можно набрать максимум DRAM для двух CPU, а также 8/16/32-Гбайт двухранговые RDIMM и 4/8-Гбайт одноранговые RDIMM. В случае 2DPC/3DPC возможно снижение до 1866/2133 MT/s.

Дисковые корзины и бекплейны SAS-3/SATA-3 представлены в конфигурациях SFF x8/x16 и LFF x8 с поддержкой горячей замены накопителей. В виде мини-плат, не занимающих PCIe-слот, доступны RAID-контроллеры HS130 (софт)/H330/H730(P). А вот PERC H830 имеется только в виде PCIe-адаптера. Увы, все эти контроллеры оснащены BBU с аккумулятором, за состоянием которого придётся следить.

Есть ещё несколько дополнительных опций, которые могут быть доступны не всегда. В первую очередь это IDSDM — внутренний модуль для двух SDXC-карт (запись на обе, чтение с одной), который можно использовать, например, для загрузчика, гипервизора или как ещё одно устройство хранения. Только надо учитывать, что работают они через USB 3.0. При этом на плате есть и обычный порт Type-A такого же стандарта. Наконец, на передней панели есть ещё один SD-ридер для функции vFlash, которая позволяет монтировать сохранённые на карточки образы, применять заранее заданную конфигурацию (XML) и т. д. Слоты IDSDM и vFlash не поддерживают горячую замену.

Интегрированный сетевой адаптер предлагается в трёх вариантах: 4 × 1GbE RJ45, 2 × 1GbE RJ45 + 2 × 10GbE RJ45, 2 × 1GbE RJ45 + 2 × 10GbE SFP+, 4 × 10GbE SFP+ (конкретные вендоры зависят от модели NDC). Все остальные карты расширения устанавливаются в слоты PCIe, которых тут немало. При наличии всех трёх райзеров по умолчанию доступны три x8-слота для низкопрофильных карт, а также три слота x8 и один слот x16 для FHFL-карт. Также есть опция с двумя слотами x16. Физически же все слоты имеют исполнение x16. Поддерживается только PCIe 3.0. И в этом как раз существенный недостаток старой платформы — даже если вы захотите установить какой-нибудь современный контроллер, адаптер или ускоритель, то ему может не хватить пропускной способности шины.

Кроме того, есть определённые лимиты по питанию и охлаждению: до двух двухслотовых 300-Вт ускорителей (для второго используется альтернативный райзер) или четырёх 150-Вт карт с пассивным охлаждением. А ещё для их установки необходимо наличие обоих процессоров (причём с TDP до 120 Вт), блоки питания мощностью 1100 Вт, а внешняя температура не должна быть выше +30 °C (против обычных «от +10 до +35 °C»).

Охлаждается платформа шестью вентиляторами с возможностью горячей замены. Доступны три профиля охлаждения, но также можно вручную скорректировать минимальную скорость вращения и сдвиг скорости относительно базовых значений (в процентах) + задать предельную температуру на выходе из шасси.

Блоки питания бывают мощностью 495, 750 и 1100 Вт. Все поддерживают на входе 100–240 В AC (DC-варианты рассматривать не будем) и PFC. БП могут работать как параллельно, так и подстраховывая друг друга. Они, как и вентиляторы, имеют характерную оранжевую окраску некоторых элементов, которая указывает на возможность горячей замены. Голубым же цветом помечены компоненты, которые можно демонтировать только в выключенном состоянии сервера. В целом и внутри, и снаружи шасси всё организовано интуитивно понятно.

На передней панели есть индикатор текущего состояния сервера, кнопка питания со встроенным индикатором, утопленная кнопка NMI и кнопка/индикатор идентификации сервера, которая так же нужна для перехода к BIOS в случае проблем с загрузкой и сброса iDRAC. Первые две можно отключить в настройках, а для третьей можно запретить функцию сброса. Рядом находятся VGA-выход, упомянутый выше SD-слот vFlash и пара портов USB 2.0 Type-A, один из которых можно задействовать для iDRAC Direct (фактически при подключении на хосте становится доступен сетевой интерфейс). Лотки накопителей снабжены двумя индикаторами: состояния и активности. Ими тоже можно помигать для идентификации дисков или массивов.

А ещё тут есть однострочный монохромный LCD-экранчик с подсветкой и три кнопки для навигации. На нём можно просмотреть IPv4/IPv6/MAC-адрес iDRAC, сервисный тег, инвентарный тег, текущий уровень энергопотребления и температуру воздуха на входе, имя хоста, модель сервера или вручную заданную строку, а также сообщения об ошибках и наличие активных подключений к IP-KVM. Также, если это разрешено в настройках, кнопками можно выбрать режим DHCP или Static IP, задав в последнем случае параметры IP-подключения и DNS. Про совсем специфические опции вроде ленточного накопителя, оптического привода, uSATA-накопители или NFC-доступа Quick Sync говорить не будем.

На задней панели есть кнопка идентификации системы, VGA-выход, два порта USB 3.0 Type-A, последовательный порт, четвёрка Ethernet-портов интегрированного сетевого контроллера (см. выше), а также выделенный порт для iDRAC. Ну и два блока питания c индикаторами состояния. Тут же есть очень удобная ручка, которая делает шасси более ухватистым. И в целом Dell PowerEdge R730 можно смело назвать весьма продуманным и удобным.

BIOS и Lifecycle Manager

Системные настройки, доступные после старта системы, охватывают не только BIOS, но и ряд параметров iDRAC, а также конфигураторы набортных устройств, в данном случае представленных сетевыми адаптерами и RAID-контроллером. Непосредственно в BIOS параметров на самом деле не так чтобы много, но всё самое необходимое есть. Из дополнительных полезных опций есть возможность отключения кнопок питания и NMI, а также USB-портов, алгоритм поведения при потере питания, настройка бифуркации слотов PCIe и т.д.

Есть также ряд настроек, связанных с работой памяти и процессора. По умолчанию используется профиль DAPC (производительность на ватт), в котором сервер сам определяет оптимальные параметры работы. Часть других профилей открывает доступ к массе разнообразных настроек, но если нет ясного понимания, за что они отвечают, то лучше их и не трогать. Собственно говоря, в нашем случае всё было оставлено по умолчанию, кроме переключения на UEFI и включения Secure Boot.

Смотреть все изображения (21)

Смотреть все
изображения (21)

В настройках сетевых контроллеров, в общем, тоже нет ничего необычного. Из дополнительных опций тут есть поддержка iSCSI и FCoE (PXE, конечно, тоже есть). А вот RAID-контроллер предоставляет массу опций, из которых, пожалуй, стоит обратить внимание только на кеширование. Контроллер умеет работать с SSD и поддерживает SED. Кроме того, есть мастер создания массивов общего назначения или под конкретные нагрузки, которым мы и воспользовались для формирования с настройками по умолчанию RAID1 из двух SSD и RAID5 — из четырёх оставшихся.

Смотреть все изображения (31)

Смотреть все
изображения (31)

Наконец, есть ещё одна удобная встроенная утилита Lifecycle Manager. Она, как можно понять из названия, предназначена для управления жизненным циклом сервера. И именно с неё можно начинать знакомство с системой, хотя и необязательно. Утилита позволяет обновить (и откатить) прошивки, просмотреть исходную и текущую конфигурацию оборудования и все связанные с этим логи, протестировать все компоненты, а также предлагает несколько мастеров для быстрой настройки системы и разворачивания ОС (но уже устаревших).

Смотреть все изображения (7)

Смотреть все
изображения (7)

Смотреть все изображения (17)

Смотреть все
изображения (17)

Заодно в ней можно экспортировать информацию об оборудовании и состоянии системы, импортировать/экспортировать профиль (для быстрого разворачивания однотипных конфигураций), а также сбросить все параметры к заводским установкам для утилизации или повторного использования сервера. Так что можно в любой момент посмотреть, что происходило с его компонентами. Кроме того, у каждой системы есть сервисный тег, по которому на сайте Dell можно узнать об обращениях в рамках контракта на поддержку и быстро найти всю документацию и ПО.

iDRAC8

Одним из важных, если не определяющим, фактором является не только и не столько аппаратная начинка, механическая конструкция платформы или её расширяемость, сколько удобство управления и эксплуатации. Dell предлагает систему Integrated Dell Remote Access Controller. В нашем случае это iDRAC8. Опять-таки, не самый новый вариант, но для повседневных задач достаточный. Самое главное тут вот что — имеется существенная разница между лицензиями Basic, которая предоставляется по умолчанию, и Enterprise. Именно последняя даёт наиболее полную функциональность.

Смотреть все изображения (25)

Смотреть все
изображения (25)

Наиболее полезные функции Enterprise-версии включают iKVM-консоль вместе с возможностью удалённого монтирования образов и VNC-доступом, полноценную поддержку vFlash, запись экрана при сбое и загрузке, некоторые виды графиков и уведомлений, интеграцию с AD/LDPA, быстрое сохранение/восстановление конфигурации. Есть и совсем странные ограничения вроде отсутствия поддержки NTP и удалённого syslog в Basic-версии. В общем, для наибольшего удобства лучше приобрести лицензию Enterprise, которую и рассмотрим ниже.

Смотреть все изображения (22)

iset_5.png

Смотреть все
изображения (22)

OpenManage Mobile

Работа с iDRAC8 осуществляется с помощью веб-интерфейса (можно установить свои TLS-сертификаты) или же консольного доступа RACADM, локально или удалённо. В первом случае доступ организован через виртуальный (USB) или физический NIC, а при наличии в ОС драйвера и агента в iDRAC отправляются дополнительные сведения и сообщения о некоторых событиях. Кроме того, есть доступ по Telnet и SSH, а также поддержка SNMP v3, Redfish, IPMI over LAN и SOL. Для Android и iOS также есть утилита OpenManage Mobile.

Главная страница iDRAC8

Локально доступно добавление до 16 пользователей. Каждому даётся один из трёх уровней доступа IPMI (администратор, оператор, пользователь), выбранные права для самого iDRAC и загрузка ключей SSH (и смарт-карты при наличии). Есть и упомянутая выше поддержка AD/LDAP. Всего этого вполне достаточно и для собственно администрирования, и мониторинга. Сессии других пользователей при наличии можно принудительно завершить. А в iKVM-консоли также есть общий чат.

Для доступа к собственно iDRAC настраиваются IPv4/IPv6-адреса, причём возможен вариант как с выделенным портом, так и с использованием одного из тех, что даёт интегрированный сетевой контроллер. Предусмотрена возможность переключения на запасной порт и фильтрации по IP (фактически запрет на доступ отовсюду, кроме заданной подсети). Из необычных опций — загрузка конфигурации по сети и её применение при старте системы. Есть ещё функция автообновления ПО с CIFS/NFS/(T)FTP/HTTP(S)-ресурса, но она уже не очень актуальна.

Структура самого веб-интерфейса iDRAC8 чуточку нелогична — часть функций явно добавили позже в ближайший похожий по смыслу подраздел. Тем не менее разобраться в нём просто. Остановимся только на ключевых возможностях, а с остальными можно поверхностно ознакомиться с помощью многочисленных скриншотов.

На главной странице собраны общие сведения о состоянии сервера, его подсистем, а также логи и рабочие заметки, в которые попадают сведения о подключении посредством OMM. Тут же можно посмотреть на превью iKVM-консоли и запустить её. В соседних вкладках можно просмотреть детальное описание установленных компонентов, сведения о подключённых сетевых образах и vFlash, а также очередь задач. Вся страница (как и многие другие здесь) пестрит ссылками, благодаря которым можно быстро «провалиться» к нужным параметру, подразделу или сведениям.

Количество наблюдаемых параметров системы составляет несколько десятков штук. Они разбиты на шесть категорий и три уровня важности: информирование, предупреждение, критическое значение. Для каждого из них можно настроить отдельное уведомление или отправку сообщения посредством IPMI, SNMP, E-Mail и Redfish. Для ряда событий можно настроить автоматическое действие: отключение сервера, перезагрузка или сброс по питанию. Отдельные графики предусмотрены для наблюдения за текущими уровнем загрузки системы, её энергопотреблением и температурой.

iKVM-консоль

Смотреть все изображения (32)

Смотреть все
изображения (32)

Для удалённого управления сервером есть iKVM-консоль, к счастью, в виде HTML5-приложения. Впрочем, для желающих поностальгировать (скорее, помучиться) есть и Java-версия консоли, и даже ActiveX. VNC-сервер тоже имеется, но он полезен, пожалуй, только при доступе с мобильного устройства — в OMM есть быстрый вызов клиента. Количество одновременных iKVM-сессий не может превышать шести, при этом участникам доступен общий чат. Естественно, есть поддержка удалённого монтирования образов.

Смотреть все изображения (10)

Смотреть все
изображения (10)

Наконец, отдельный раздел посвящён работе с RAID-контроллером. Доступные параметры, в целом, примерно те же, что есть в системных настройках при старте сервера, но в вебе их несколько больше. Кроме того, здесь всё гораздо нагляднее, что добавляет удобства и при работе с массивом, и при просмотре состояния контроллера, бэкплейна и накопителей.

Тестирование

Для небольшого теста на сервер была установлена ОС Windows Server 2022 Standard 21H2. Ничего подсовывать во время установки не потребовалось, а с сайта Dell пришлось скачать лишь пяток пакетов драйверов и ПО. Часть, похоже, вообще подтянулась через Windows Update. В целом никаких существенных инцидентов за почти месяц работы с системой не было.

В Geekbench 5 система набрала в одно- и многопоточном тестах 424 и 16269 баллов соответственно, в Geekbench 6 — 634 и 6009. В CPU-Z (2017.1 x64) аналогично 401 и 8210 баллов.

В SPECWorkstation 3.1 дисковая подсистема получила рейтинг 0,81, а для CPU в силу невозможности провести полноценное тестирование из-за отсутствия драйверов с поддержкой нужной версии OpenGL для встроенного адаптера Matrox G200eR приведём отдельные результаты: 7zip 1.54, Blender 4.49, Convolution 17.88, fsi 5.48, handbrake 2.73, LuxRender 10.09, octave 0.52, python36 0.9.

Заключение

Непосредственно к работоспособности сервера никаких претензий за время нашего тестирования не возникло. Однако посмотрим, что будет через год, и по возможности обновим материал. Общее впечатление от машины тоже положительное. Возможностей платформы вполне достаточно даже по современным меркам, а по удобству и управляемости она не хуже многих более современных решений классом пониже. Да, придётся смириться, что программные обновления для неё если и будут выходить, то теперь уже крайне редко, а возможности аппаратного апгрейда не всегда очевидны.

С точки зрения голой производительности вся система, конечно же, заметно уступает более новым решениям. Но тут, как и говорилось выше, всё зависит от конкретных задач. А вот по стоимости и доступности б/у-решение однозначно выигрывает. И речь не только о шасси, но и о комплектующих. В нашем случае только память и накопители оказались сравнимы по стоимости со всем остальным «железом». Удалось ли в итоге сэкономить? Однозначно да. Стоит ли бояться б/у-серверов? Можно уверенно сказать, что нет, но только если вы нашли хорошего и надёжного во всех смыслах поставщика.

Приобрести сервер можно по ссылке

…Где рельсы вылезали из кармана страны.Группа «Мумий Тролль», «Владивосток 2000»

APU

Начнём с самого интересного, с APU, то есть с чипов, объединяющих в своём составе CPU, ускоритель и набортную память. Это не совсем корректный термин, но более привычный. Так вот, в этой области было два главных анонса, от AMD и NVIDIA. В серии Instinct в этом году появятся гибридные MI300, объединяющие 24 ядра Zen 4, ускоритель CDNA 3 и 128 Гбайт общей для обоих вычислительных блоков памяти HBM3. Чип будет дорогим, не массовым и ориентированным на HPC-нагрузки. Он, в частности, станет основой грядущего суперкомпьютера El Capitan с производительностью в 2 экзафлопс.

Источник: AMD

У NVIDIA чуть иной подход — чипы Grace Hopper объединят, как легко догадаться по названию, процессорную часть Grace (половинка Superchip) и ускорительную часть Hopper (H100), чуть подробнее о которых рассказано ниже. Оба чиплета имеют собственную память, но, как и в случае MI300, память будет в той или иной степени общей для всех компонентов (а вот как это будет реализовано на практике, узнаем позже), что позволит не перемещать лишний раз данные между вычислителями разного типа.

Источник: NVIDIA

Главное, впрочем, что и AMD, и NVIDIA представили новые интерконнекты, которые и позволяют объединить разнородные чиплеты и IP-блоки, собирая как из конструктора SoC с заданной функциональностью. Называются новые интерконнекты Infinity Architecture 4 и NVLink-C2C. Intel, по-видимому, делает ставку на UCIe и в следующем году планирует представить гибридные чипы Falcon Shores, столь же гибко сочетающие x86-ядра и блоки Intel Xe.

Интерконнект и память

Этот раздел неслучайно идёт сразу за APU — по двум причинам. Во-первых, как уже давно и неоднократно говорилось, в индустрии сейчас вообще-то нет особых проблем непосредственно с вычислениями, но есть проблема с эффективной доставкой данных на всех уровнях и масштабированием. APU как раз пытаются решить её, хотя и замыкаясь в себе. Во-вторых, грань и граница между интерконнектом внутри узла и за его пределами становятся всё тоньше. Дальше всех в практическом отношении продвинулась NVIDIA, поскольку NVLink 4 позволяет провязать сразу 256 ускорителей в составе «умной» фабрики, хотя масштабирование выше всё же требует Infiniband.

Источник: NVIDIA

На физическом уровне все дружно двигаются в сторону интегрированной кремниевой фотоники. Над решениями на уровне межчиповых (и далее) соединений работают, например, Ayar Labs, OpenLight и Intel. Причём две последние компании трудятся над полностью интегрированными решениями, включающими и лазеры. Lightmatter пошла дальше, а точнее глубже, и предложила объединять оптическими соединениями чиплеты внутри чипов. Впрочем, основной проблемой будет не само по себе создание подобных решений, а их удешевление для массового производства.

На логическом уровне разброда и шатания уже нет — CXL однозначно победил. Консорциум последовательно вобрал наработки Gen-Z и OpenCAPI (включая OMI), договорился с JEDEC и представил третью версию спецификации, ориентированную в первую очередь на масштабирование. Основой для CXL и в целом для внутриузловых коммуникаций по-прежнему является шина PCIe. Фактически внедрение CXL активно началось с появления PCIe 5.0 в массовых платформах, но задел на будущее уже есть — летом 2022 года PCI-SIG анонсировал PCI Express 7.0.

Источник: PCI-SIG

На первом этапе внедрения основным применением CXL станут экспандеры, которые тем не менее позволят экономически эффективно добирать необходимый объём памяти, пусть и с потерей производительности: до уровня стандартных DDR5-4800 и тем более самых быстрых DDR5 MCR DIMM они не дотянут. Ещё одним способом экономии на памяти (если её много не надо) станет использование «небинарных» чипов. Альтернативный подход заключается не в попытке принести как можно больше памяти к вычислителю, а во внедрении вычислителей непосредственно в память.

Источник: SK hynix

CXL-память — нативную или в виде адаптеров — предлагают Astera Labs, Microchip, Montage Technology, Samsung и SK hynix. А «умные» CXL-пулы продвигают, например, Tanzanite и Unifabrix. CXL также позволяет создавать любопытные гибриды вроде Memory-Semantic SSD. Фактически CXL в целом ряде задач, где важен объём, а не персистентность, сделал ненужным и Optane PMem, которая окончательно уходит со сцены. Возможно, именно в этом состоит одна из причин полного отказа Intel от 3D XPoint. Хотя сама по себе память типа SCM вряд ли умрёт.

CPU

2022 год начался с анонса большого числа продуктов на базе отечественных Arm-процессоров Baikal-S, которые, равно как и свежие «Эльбрусы», должны были пойти в серию в 2022 году. В результате санкций TSMC не только отказалась выпускать данные CPU, но и уже произведённые партии в Россию не поставила. Однако если в случае с российскими процессорами понятно, кого винить, то в случае с удивительными (давно ли вам в последний раз обещали CPU, который втрое быстрее AMD EPYC 7763 и NVIDIA H100?) чипами Prodigy (128 ядер, 5,7 ГГц, 950 Вт), их разработчик, словацкая компания Tachyum, винит кого угодно, но только не себя. Поставки первых реальных чипов перенесены на первое полугодие 2023-го, но есть сомнения, что компания сдержит обещания.

Фото: Fritzchens Fritz

А вот Intel не отрицает свою вину в более чем годовой задержке выхода Xeon Sapphire Rapids (SPR), в результате которой она даже умудрилась подставить NVIDIA. Зато с ними ситуация теперь наверняка будет как с советскими креповыми носками, то есть как минимум по доступности эти чипы у EPYC будут выигрывать. Ну и в некоторых других технических аспектах тоже, но всё равно сравнивать 60 ядер SPR с 96 ядрами (теперь и с AVX-512) у EPYC Genoa как-то даже неудобно, не говоря уж об официальных ценах. Впрочем, правила нынче диктуют гиперскейлеры, так что AMD, склонившая на свою сторону Meta✴✴, денег, может, много и не заработает, но долю рынка у Intel, которая закончила год с существенными потерями, отъест, даже несмотря на оптимистичные прогнозы в отношении Arm.

Источник: AMD

Строго говоря, выход Genoa тоже задержался, что позволило сделать важные улучшения. Но это проблемой не стало, поскольку AMD изначально и не создавала соперника Sapphire Rapids. Intel же, не сумев догнать конкурента по числу ядер, пошла по иному пути, напичкав процессоры ускорителями для различных типов нагрузок, активируемых по запросу и за отдельную плату (On-Demand, ранее SDSi). Вот только схема эта получилась очень запутанной, а про работу самого механизма активации на практике сведений пока нет. Единственным светлым пятном в новом поколении Xeon является отдельная серия Max с набортной HBM2e-памятью, которая должна достойно конкурировать с EPYC Milan-X в HPC-нагрузках.

Источник: Intel

Но AMD, которой EPYC в прошлом году существенно помогли, уже в этом году пообещала выпустить Genoa-X, Siena и Bergamo. Последние будут ориентированы на гиперскейлеров. Intel для них готовит чипы Sierra Forest, но они выйдут вместе с Granite Rapids только в следующем году, а в этом компания намерена представить Emerald Rapids, которые будут делить платформу с Sapphire Rapids. Китайская серверная x86-экзотика представлена чипами Zhaoxin Kaisheng KH-40000, а также Montage Jintide 4-го поколения (доработанные Sapphire Rapids). Из «малых» чипов стоит отметить появление Intel Xeon Ice Lake-D и Ryzen Embedded V3000.

Источник: NVIDIA

В стане Arm тоже произошло немало интересного. Так, NVIDIA представила 144-ядерные Grace Superchip на базе новых ядер Neoverse V2 (Demeter), несущие на борту сразу 960 Гбайт LPDDR5x-памяти и укладывающиеся при этом в 500 Вт TDP. Сама Arm после срыва сделки с NVIDIA занялась странным. И речь не про экспериментальный сверхбезопасный процессор Morello, а про про иск к Qualcomm, возжелавшей использовать наработки поглощённой Nuvia для возврата на серверный рынок. Это не первая попытка Qualcomm на этом поприще — более подробную историческую справку читайте в обзоре процессора Altra от Ampere Computing.

Последняя, к слову, в этом году представит новое поколение своих CPU. Вообще для Ampere 2022 год был крайне удачным в плане развития экосистемы и доступности — она представила не один десяток платформ, в том числе в облаках. Но главное облако в мире, AWS, продолжает развивать собственную серию Arm-процессоров, которая пополнилась чипом Graviton3E, оптимизированным для HPC-задач. Так что, возможно, Джим Келлер был прав, назвав глупостью отказ AMD от развития серверных Arm-процессоров.

Источник: Arm

Архитектура RISC-V в ушедшем году отметилась в основном всякими маломощными решениями, даже Intel временно проявила активность в этом направлении, не забывая, однако, и про более серьёзные HPC-решения. Но были и два ярких момента. Во-первых, Google призналась, что использует ядра SiFive совместно со своими ускорителями (тот же подход развивает Евросоюз). Во-вторых, Ventana анонсировала Veyron V1, первый по-настоящему серверный RISC-V-процессор аж на 192 ядра с частотой 3,6 ГГц. Как на ещё одну «домашнюю» архитектуру для CPU общего назначения, на RISC-V внимательно смотрит и Китай, у которого уже есть LoongArch, представленная нынче 32-ядерными Loongson.

Ускорители

MI300 от AMD, как и говорилось в самом начале, это APU, а вот собирается ли компания представить негибридный ускоритель — неизвестно. Зато AMD сообщила о подготовке платформы XDNA на базе FPGA. NVIDIA же представила как APU, так и «просто ускорители» H100 (Hopper). Intel выпустила подзадержавшиеся Ponte Vecchio под брендом Max и начала готовить наследника — Rialto Bridge. Также компания представила Agilex M и сообщила о подготовке других, более современных FPGA Agilex. Большая тройка также представила или анонсировала и ряд условно малых универсальных ускорителей.

Источник: Intel

В области исключительно ИИ-решений картинка поживее. Были представлены большие ИИ-комплексы вроде SambaNova DataScale SN30 или Tesla Dojo (D1). Показали себя новые игроки: Moffet и Sapeon (оба для инференс-задач), Biren (весьма мощные решения) и Untether AI (1,5 тысячи ядер RISC-V). Опытные вендоры тоже без дела не сидели — Intel анонсировала Habana Gaudi2 и Greco, а Graphcore рассказала про новые BOW IPU и представила особую версию ускорителя для рынков Китая и Сингапура.

Источник: Biren

Сделано это было неслучайно — США фактически запретили поставку мощных ускорителей в Китай и Россию. Критерием мощности, то есть производительности, в данном случае стали не флопсы, а скорость обмена данными, которая не должна превышать 600 Гбайт/с, что соответствует уровню NVLink в NVIDIA A100. Ограничение скорости не позволяет эффективно масштабировать нагрузки, объединяя несколько ускорителей. Естественно, производители тут же нашли выход. Так, китайская Biren, которую ненадолго отлучили от TSMC, подкорректировала характеристики своего продукта, а NVIDIA выпустила A800, урезанную версию A100.

Источник: NVIDIA

Из экзотических решений можно вспомнить фотонные ИИ-ускорители Luminous Computing и Salience Labs, а также российский суперкомпьютер «Тераграф» с уникальной архитектурой и обещания Ceremorphic создать по-настоящему универсальный процессор, отобрав лавры у упомянутой выше Tachyum. В области нейроморфных систем нельзя не упомянуть выпуск плат BrainChip и Intel Kapoho Point, а также российские чипы «Алтай».

Источник: Salience Labs

К ускорителям в определённом смысле можно отнести и квантовые компьютеры, которыми, как и отдельными ИИ-кластерами, всё чаще планируется дополнять традиционные суперкомпьютеры. Практически все разработчики систем квантовых вычислений стремятся прямо или опосредованно предоставить облачный доступ и облегчить интеграцию с традиционными вычислениями. Рынок ещё молод, но серьёзных потрясений (ни хороших, ни плохих) в ближайшем будущем ждать не стоит. На рынке HPC, который является одним из ключевых потребителей любых ускорителей, к слову, тоже.

DPU

Родоначальник идеи DPU (Data Processing Units), то есть AWS, в ушедшем году представил уже пятое поколение Nitro. Alibaba Cloud тоже решила разработать собственные решения под названием CIPU, а Google, как и планировалось, начала внедрять IPU — они в 2024 году должны дорасти до 400G, а ещё через пару лет освоить и 800G. Meta✴✴ открыто свои предпочтения не называет, но переманила к себе руководителя разработки IPU. Microsoft же просто поглотила стартап Fungible, одного из пионеров DPU, у которого начались проблемы и который, по слухам, безуспешно пытался продаться Meta✴✴. От NVIDIA в ушедшем году особенно важных новостей в этой сфере не было, но компания явно готовится к массовому запуску BlueField-3.

Источник: AMD

Pensando, будучи уже в составе AMD, представила гибридную 400G-платформу Exotic и уже готовит 400G/800G-решения Giglio и Salina, которые появятся в течение двух лет. Для AMD это вообще одна из самых удачных сделок, завершающих формирование «трёх сокетов». У Chelsio тоже вышли 400G-продукты, седьмое поколение Terminator. Да и в целом индустрия постепенно осваивает 400G и 800G, дополняемые если уж не DPU, то хотя бы SmartNIC. Но главное, пожалуй, что в 2022 году поддержка DPU появилась у VMware, а в рамках Linux Foundation запущен проект Open Programmable Infrastructure (ONI), целью которого является разработка открытых программных стандартов для DPU, IPU и SmartNIC.

Хранилище

Помодельно рассматривать все новинки нет смысла, их слишком много, хотя среди них были отдельные жемчужины вроде 26-Тбайт SMR-накопителя от Western Digital или обновлённых Seagate MACH.2 и WD Ultrastar DC HS760 с двумя актуаторами. Но в целом можно отметить, что поставки HDD заметно упали, в том числе из-за роста их ёмкости. Однако внедрение NAND с 200+ слоями и освоение QLC обострило конкуренцию между SSD и HDD, да и в целом резкий рост пророчат только NVMe. И да, новым SSD, вполне возможно, понадобится активное охлаждение. А вот NVMe HDD мы не дождались, но уже есть обходные решения на уровне СХД. Вечно живыми остаются и развиваются ленточные накопители и оптические диски.

Источник: GRAID

В области хранилищ любопытно использование GPU — соответствующие обновления представили, к примеру, GRAID и Nyriad, а вскоре к ним, похоже, присоединится VAST Data. Специализированные ускорители для СХД показала MaxLinear. А Intel неожиданно решила прекратить поддержку VROC, но затем резко передумала. Она же выпустила и последние Optane SSD. Но есть и позитивные моменты — с появлением Sapphire Rapids сразу несколько крупных вендоров представили массовые платформы с поддержкой EDSFF, в основном E1.S и E3.S.

Источник: LANL

В прошлом году разработчики также показали различные прототипы и решения в области SmartSSD — Macronix анонсировала «умную» NAND FortiX, LANL и SK hynix протестировали KV-SSD, а Samsung в дополнение к упомянутому выше гибриду Memory-Semantic SSD показала сразу два накопителя, с FPGA Xilinx и тысячеядерным Esperanto ET-SoC-1. Видимо, это направление действительно перспективно, раз даже SNIA выпустила первую версию стандарта вычислительных накопителей. Напоследок отметим уход со сцены важного когда-то игрока — Pavilion Data, которая некогда одной из первых создала сверхбыстрые NVMe-oF СХД, прекратила существование.

ЦОД

Крупнейшей закрытой сделкой формально стала продажа оператора Switch за $11 млрд (если не считать начатой ещё в 2021 году $15-млрд сделки с CyrusOne), а вот вторая по величине сделка — продажа Global Switch за $10 млрд — зашла в тупик. По объёму сделок 2022 год ($48 млрд) чуть-чуть не дотянул до 2021-го ($49 млрд), да и операторы с гиперскейлерами слегка притормозили развитие. Meta✴✴ даже приостановила строительство ряда кампусов для полной переработки архитектуры своих ЦОД с упором на ИИ и СЖО. А большая тройка облаков начала 2023 год с массовых увольнений и пересмотра политики дальнейшего развития. Intel отказалась от $700-млн лаборатории по развитию решений для ЦОД.

Источник: Uptime Institute

Uptime Institute ожидает замедления темпов миграции в публичные облака, а кто-то уже говорит и о «репатриации» нагрузок. Но в целом рост индустрии сохраняется, хотя проблем меньше не становится: число сбоев не упало (опять пожары), энергоэффективность не растёт который год, местами (особенно в Ирландии, Нидерландах и Сингапуре) наблюдается энергетический кризис (Microsoft пожаловалась, что затраты на электричество оказались на $800 млн выше предполагаемых). Отдельной строкой идут экологические проблемы и новые инициативы регуляторов вроде попыток принудительной отдачи избыточного тепла в системы отопления.

Источник: Google

На фоне аномальной жары острее стали и вопросы водопотребления дата-центров, которое напрямую связано с охлаждением, в том числе с попытками внедрить СЖО — а без них, по-видимому, в обозримом будущем уже не обойтись. Equinix и Meta✴✴, тем не менее, решили поднять температуру в машинных залах ради экономии средств. Особняком на рынке стоит Северная Вирджиния, которая по-прежнему обгоняет по ёмкости сверхкрупных дата-центров и Европу, и Китай. От ЦОД местные жители устали настолько, что готовы судиться с властями.

Заключение

В условиях, как это принято сейчас говорить, не называя вещи своими именами, сложившейся геополитической обстановки Россия оказалась несколько оторвана от мировых тенденций. Большая часть года прошла под двумя тегами: санкции и импортозамещение (по ссылкам информация не только про Россию, но и про Китай). Немалая часть зарубежных IT-компаний покинула Россию, хотя подход к этому процессу был совершенно разным, а кто-то даже и не собирался уходить. Одни действительно окончательно ушли, избавившись тем или иным образом от активов. Другие ушли лишь формально, либо продав или передав местные подразделения в руки локальных менеджеров, нередко с припиской в договоре о приоритетном праве возврата в родное лоно в случае ослабления давления, либо вообще ограничившись общими словами и туманными формулировками на официальных сайтах.

Не обошлось и без казусов, когда сразу несколько новоявленных компаний называли себя официальными наследниками и преемниками одного и того же вендора. Часть не ушла, а резко переориентировалась, например отказавшись от продаж, но сохранив разработку. Кроме того, были и зеркальные действия — ныне крупные международные компании с российскими корнями тоже отделили местные подразделения от глобальных. Заодно часть из них поменяла официальных владельцев, которые попали под санкции. Ещё одна черта — крупные российские игроки стали скупать компании поменьше, причём из областей, далеко не всегда связанных с их основным видом деятельности. Некоторые устроили настоящую охоту за специалистами и целыми командами из ушедших компаний.

Источник: RAEng_Publications / Pixabay

Но основная проблема сейчас — это не резко снизившиеся поставки оборудования и компонентов, поскольку параллельный импорт худо-бедно работает, порождая удивительные предложения вроде 2U-серверов с 20 процессорами или вызывая резкий рост облаков. Нет, просто «неожиданно» выяснилось, что Россия сильно зависима от иностранного ПО, без которого аппаратура бесполезна. А параллельно произошёл отток разработчиков и иных IT-специалистов — пример Deutsche Bank один из ярких, но далеко не единственный. Ожидается, что госпрограммы станут основным драйвером импортозамещения, особенно в области информационной безопасности. Но это же усилит и зависимость разработчиков от государства, это совсем иной рынок. Так что хорошо бы в первую очередь думать о людях и не совершать необдуманных поступков, тогда и с последствиями бороться не придётся.

Чтобы ничего не пропустить в новом году, подпишитесь на нас в Twitter, Telegram, LinkedIn, Google News или Zen.

Российские компании ИТ-отрасли почувствовали на себе санкции иностранных государств в виде ограничения доступности и технической поддержки некоторых продуктов, которые используются для разработки программных решений. В частности, полностью ушли из России или временно прекратили работу в нашей стране такие софтверные гиганты, как Adobe, Atlassian, Autodesk, AWS, Canonical, EPAM, SAS, Figma, IBM, JetBrains, Microsoft, Miro, SAP и многие другие.

Естественно, это потребовало от российских разработчиков пересмотра набора базовых элементов для своих систем и перехода на отечественные решения. В этой статье мы расскажем об альтернативах, позволяющих заместить один из самых востребованных в IT-секторе продуктов, — Atlassian Jira, платформу управления проектами разработки ПО.

Самый Jira

Следует отметить, что Jira — продукт модульный, и поэтому может использоваться для решения самых разнообразных задач. Изначально, еще в 2002 году, Jira создавалась в качестве замены проекта с открытым кодом Bugzilla и во многом повторяла его архитектуру. Однако если Bugzilla так и остался инструментом только для отслеживания и исправления ошибок в программном обеспечении, то Jira, благодаря модульности архитектуры и запуску в 2012 году магазина расширений Atlassian Marketplace, превратилась в инструмент более высокого уровня, который можно использовать для управления проектами разработки, для организации технической поддержки и даже для управления коммуникациями с клиентом.

Изображение: Atlassian

В частности, в Jira появилась такая функциональность, как канбан- и scrum-доски с возможностью проведения спринтов, диаграммы Ганта и множество других инструментов, которые используются в системах управления проектами по методологии Agile. Jira стала популярна у разработчиков, которые как раз и пользовались всеми указанными компонентами и создали на ее основе удобные для них системы управления ИТ-проектами — именно их замену и хотелось бы обсудить в рамках данной статьи. При оценке возможностей отечественных аналогов Jira будем учитывать не только основную функциональность ядра по управлению исправлениями в программном обеспечении, но и дополнительные расширения.

Например, если посмотреть на список продуктов, который предлагает сайт «Переходим.РФ» для замены Jira, то в нем можно обнаружить следующие варианты:

• Yandex Tracker — сервис для совместной работы и организации процессов в компании;
• Kaiten — инструмент для управления всеми процессами компании в одном окне;
• «Битрикс24» — полный комплект бесплатных инструментов для ведения бизнеса: CRM, конструктор сайтов и интернет-магазинов, система управления проектами и т.д.;
• ITSM 365 — сервис для автоматизации различных служб поддержки;
• Naumen Project Ruler — комплексное решение для проектного управления и автоматизации работы команд;
• Flowlu — облачный сервис автоматизации всех процессов бизнеса;
• Naumen Service Desk — программный продукт для автоматизации управления ИТ- и бизнес-услугами;
• «Интранетус» — средство коммуникации внутри команд;
• Comindware Business Application Platform — Low-code платформа для управления бизнес-процессами и цифровой трансформации предприятия;
• «Управление IT-отделом 8» — готовое решение для ИТ-подразделений любой организации и ИТ-компаний, занимающихся обслуживанием клиентов. Содержит в себе полный комплекс средств для работы службы технической поддержки: программистов, системных администраторов, техников компьютерных сетей;
• Moo.Team — СRM-система для digital-агентств разработана специалистами для специалистов с учетом особенностей работы таких агентств;
• ADVANTA — информационная система управления проектами. Платформа помогает вести мониторинг проектов, контролировать и улучшать проектную деятельность.

Видно, что в этом списке есть в том числе и средство коммуникации внутри команд, и инструмент автоматизации управления/сопровождения ИТ-систем, и Low-code-платформа. Естественно, эта функциональность с помощью различных модулей так или иначе была реализована и в Jira, хотя основная масса внедрений этой платформы все-таки связана с управлением командами разработки программного обеспечения. Поэтому и сконцентрируем внимание именно на этой части функциональных возможностей Jira.

Понятно, что и для разработчиков функциональность Jira была достаточно широкой, однако не всегда очевидно, насколько те или иные возможности решения востребованы клиентами. Естественно, отечественные аналоги не всегда полностью реализуют все функции Jira, однако потребности большинства разработчиков они удовлетворить могут. Поэтому мы отобрали в наш обзор те продукты, которые реализуют базовые подходы методологии agile: канбан- и scrum-доски, построение и анализ спринтов, работу с диаграммой Ганта, контроль задач и времени их исполнения, а также формирование отчетов. Кроме того, логично обратить внимание на миграцию с Jira — эта функциональность есть у некоторых российских продуктов, и она может быть полезна при импортозамещении.

Jira-заменители

К уже упоминавшимся выше решениям — «Битрикс24», Naumen Project Ruler, Kaiten, Yandex Tracker, ADVANTA и Moo.Team — мы также решили добавить еще и «Аспро.Agile», Redmine, EvaProject. Следует отметить, что все продукты, попавшие в этот обзор, реализуют основные элементы методологии agile, поэтому сравнивать мы их будем в том числе по тарифной политике и варианту использования — большинство реализованы в виде облачного сервиса и позволяют просто подключаться из браузера без необходимости установки каких-то программных компонентов в свою инфраструктуру. Однако некоторые имеют еще и мобильное приложение, причем как для Android, так и для iOS. Есть и варианты использования в виде клиентов для настольных операционных систем: Windows, Linux или Mac OS.

Дополнительными критериями для отбора будет наличие программного обеспечения в реестре отечественного ПО, который поддерживается Минцифры — это важно для устойчивости к санкциям. Поскольку мы рассматриваем варианты миграции с уже работающей Jira, то еще одним параметром является наличие встроенных механизмов переноса данных из Jira.

«Битрикс24»

• Производитель: «1С-Битрикс».
• Сайт: https://www.bitrix24.ru.
• Запись в реестре ПО: №25.
• Использование: веб, мобильное приложение, Windows, MacOS.
• Импорт из Jira: есть.
• Тарифы:
  • «Бесплатный» — база до 5 Гбайт;
  • «Базовый» — от 1 990 ₽/мес. за 5 пользователей;
  • «Стандартный» — от 4 790 ₽/мес. за 50 пользователей;
  • «Профессиональный» — от 9 590 ₽/мес.

«Битрикс» — это комплексная платформа для разработки веб-приложений. Первой появилась CMS-система «1С-Битрикс: Управление сайтом», впоследствии к ней добавился сервис «Битрикс24», который сейчас поддерживается и активно развивается калининградской компанией «1С-Битрикс» путем добавления модулей, которые создают сами разработчики. Фактически функциональность «Битрикс24» куда шире, чем у Jira. Кроме того, как и в случае с Jira, набор функций «Битрикс24» можно расширить модулями из магазина приложений платформы. В частности, Битрикс24 имеет все необходимое для создания CRM с инструментами автоматизации, кол-трекингом и множеством других функций корпоративной автоматизации. Кроме необходимых элементов для agile-разработки сервис имеет свой корпоративный мессенджер, ленту новостей и модуль Jira Migration для переноса данных из соответствующей системы.

Изображение: «Битрикс24»

«Аспро.Agile»

• Производитель: «Аспро».
• Сайт: https://asproagile.ru/.
• Запись в реестре ПО: №11431.
• Использование: веб.
• Импорт из Jira: есть.
• Тарифы:
  • «Бесплатный»;
  • «Стандартный» — 1 520 ₽/мес.;
  • «Про» — 3 920 ₽/мес.;
  • «Энтерпрайз» — по запросу.

У данного облачного сервиса есть бесплатный тестовый вариант для 3 пользователей. В состав сервиса входят все компоненты agile, а к ним добавляется встроенный мессенджер и база знаний. Продукт является частью более общего сервиса «Аспро.Клауд», который был разработан в прошлом году с нуля. Он представляет собой пакет интегрированного облачного программного обеспечения для бизнеса, куда входят CRM, управление agile-проектами, корпоративный мессенджер и многое другое. Особенностью бизнес-модели является оплата за команду, а не за каждого отдельного сотрудника, поэтому и тарифы нужно воспринимать соответствующе. Разработчики этого решения предусмотрели прямой импорт из Jira.

Изображение: «Аспро.Agile»

Redmine

• Разработчик: сообщество разработчиков.
• Сайт: https://www.redmine.org.
• Запись в реестре ПО: нет.
• Импорт из Jira: есть.
• Использование: собственная установка, веб.
• Тарифы: собственное развертывание и поддержка.

Redmine — бесплатное и открытое серверное веб-приложение для управления проектами и задачами (в том числе для отслеживания ошибок). Redmine распространяется под лицензией GNU GPL 2.0, но это не гарантирует, что разработчики не будут чинить препятствий пользователям из России. В списке компаний, остановивших свою деятельность в России, который приведен в самом начале материала, можно заметить в том числе и компании, занимающиеся открытым ПО: Canonical, Qt, Red Hat, SUSE. По некоторым признакам ядро разработчиков Redmine прохладно относится к пользователям из России, что может вызвать трудности в сопровождении продукта и решении проблем. Поэтому при его использовании важно иметь собственные компетенции в сопровождении как базовой платформы Ruby-on-Rails, так и приложений на ее основе.

Изображение: Redmine

Если же есть площадка, где можно развернуть продукт и его сопровождать, то он поддерживает необходимый набор инструментов для agile-разработки, в том числе благодаря плагинам — платным и бесплатным. Он позволяет вести несколько проектов, организовать гибкую систему доступа, основанную на LDAP-ролях, обмениваться новостями, документами и файлами, настроить оповещение об изменениях с помощью RSS и e-mail. Важно, что продукт позволяет вести международные проекты, поскольку имеет многоязычный интерфейс. Так как среди поддерживаемых СУБД, необходимых для работы Redmine, есть PostgresSQL, то российские пользователи могут самостоятельно поддерживать собственную установку Redmine.

Naumen Project Ruler

• Производитель: Naumen.
• Сайт: https://www.naumen.ru/products/project_ruler.
• Запись в реестре ПО: №5263.
• Импорт из Jira: нет данных.
• Тарифы: не публикуются.
• Использование: в составе платформы Naumen SMP.

Naumen Project Ruler — модуль большого комплексного решения для проектного управления и автоматизации работы команд, в который интегрированы инструменты поддержки принятия решений на каждом этапе. Продукт работает на базе платформы, разработанной екатеринбургской компанией Naumen, поэтому требует ее развертывания на предприятии. Приобрести его как сервис из облака не получится. Тем не менее agile-функциональность у него есть: канбан-доски и поддержка Scrum, диаграмма Ганта, планирование ресурсов с учетом сервисной нагрузки. Однако область применения платформы в целом намного шире, чем просто agile, и поэтому он интегрируется и с CRM, и с кол-центром, и еще с множеством других корпоративных компонентов, разработанных Naumen. Компания присутствует на рынке давно и создала много самых разнообразных продуктов. Понятно, что переходить на этот инструмент с Jira имеет смысл только в том случае, когда нужна более широкая функциональность: CRM, ITSM или корпоративное управление проектами.

Изображение: Naumen

Kaiten

• Разработчик: ООО «Кайтен Софтвер».
• Сайт: https://kaiten.ru/.
• Запись в реестре ПО: №14347.
• Поддержка: веб, мобильное приложение.
• Импорт из Jira: есть.
• Использование: веб, мобильное приложение.
• Тарифы:
  • Free;
  • Standard — от 420 ₽/мес. за пользователя;
  • Pro — от 560 ₽/мес. за пользователя;
  • Enterprise — индивидуальная цена.

Kaiten — это классический веб-сервис. Есть и бесплатная тестовая версия с ограниченным набором функций. Среди фишек стоит отметить интеграцию с почтой и блокировку задач, запрет на параллельное выполнение. На бесплатном тарифе нет ограничения по количеству сотрудников, так что можно запросто потестировать платформу. Правда, основные agile-элементы — scrum, канбан и учет времени — доступны только в версии Pro. Оплата за каждого пользователя хорошо подойдет проектным командам, в которых стадии разработки требуют разного набора специалистов.

Изображение: Kaiten

Yandex Tracker

• Разработчик: «Яндекс».
• Сайт: https://cloud.yandex.ru/services/tracker.
• Запись в реестре ПО: №5255.
• Использование: веб, мобильное приложение.
• Импорт из Jira: через партнеров.
• Тарифы:
  • до 5 пользователей — бесплатно;
  • 6–100 пользователей — 285 ₽/мес. за пользователя;
  • 100–250 пользователей — 222 ₽/мес. за пользователя;
  • 250–500 пользователей — 185 ₽/мес. за пользователя;
  • свыше 500 пользователей — цена рассчитывается по запросу.

Это часть платформы Yandex Cloud, в открытый доступ она была выпущена еще в 2017 году. Платформа предлагает необходимые инструменты для работы по методологии agile. Из дополнительных особенностей следует отметить покер-планирование, фильтры и теги для поиска задач, а также интеграцию с другими сервисами Yandex Cloud. Впрочем, «Яндекс» — заметная международная компания, поэтому существует вероятность наложения на нее финансовых санкций. На доступности сервиса в России это вряд ли скажется, а вот для международных проектов могут возникнуть проблемы.

Изображение: «Яндекс»

Moo.Team

• Разработчик: ООО «АлаичЪ и Ко».
• Сайт: https://moo.team/.
• Запись в реестре ПО: не обнаружена.
• Использование: веб.
• Тарифы:
  • «Бесплатный», до 5 пользователей;
  • «Базовый», от 10 пользователей — от 990 ₽/мес.;
  • «Команда», от 30 пользователей — от 2 990 ₽/мес.;
  • «Компания», от 50 пользователей — от 4 990 ₽/мес.;
  • «Корпорация», без ограничения по количеству пользователей — цена по запросу.

Moo.Team — это сервис управления разработкой ПО, который объединяет трекер задач, базу знаний, систему учета рабочего времени, инструменты управления командой и взаимодействия с клиентами в одном веб-интерфейсе. Сейчас в системе реализованы дашборды, куда сводится информация о происходящих в проектах событиях; карточки учета сотрудников с возможностью оценки нагрузки на каждого из них; проекты, в которые собираются сведения о мониторинге активности сотрудников; правила доступа, управление идентификацией и учет рабочего времени; задачи с их распределением по канбан- и scrum-доскам. Тарификация достаточно гибкая, поскольку можно выбрать нужное количество сотрудников и проектов, а также задать нужный объем облачного хранилища. Проект разрабатывается молодой веб-студией из Краснодара, что позволяет надеяться на быстрое добавление новых функций в случае необходимости.

Изображение: Moo.Team

EvaProject

• Разработчик: ООО «Карбон Софт».
• Сайт: https://www.evateam.ru/evaproject/
• Запись в реестре ПО: №13880.
• Импорт из Jira: есть.
• Использование: веб, Windows, Linux, Mac OS
• Тарифы*:
  • «Бесплатный»;
  • «Стандарт» — от 499 ₽/мес. за пользователя;
  • «Бизнес» — от 799 ₽/мес. за пользователя;
  • «Премиум» — от 999 ₽/мес. за пользователя.
  • «Экосистема» (все продукты EvaTeam) — 1 699 ₽/мес. за пользователя.

EvaProject — это сервис, предназначенный для управления компанией, проектами и задачами всех отделов, который входит в более общий пакет сервисов EvaTeam. Он разработан для того, чтобы удовлетворять требованиям всех отделов производителя программного обеспечения от разработчиков до бухгалтеров. В нем есть необходимые элементы для agile-разработки с возможностью построения дорожных карт и обмена информацией. Продукт активно рекламируется. В частности, в выдаче «Яндекса» по запросам, связанным с Jira, регулярно встречаются ссылки на этот проект, что позволяет надеяться на его активное развитие и выполнение «хотелок» новых клиентов.
*Для всех тарифов минимальное количество пользователей — 5

Изображение: EvaProject

ADVANTA

• Разработчик: ООО «Адванта Консалтинг».
• Сайт: https://www.advanta-group.ru/.
• Запись в реестре ПО: №279.
• Импорт из Jira: ограничен (проекты и этапы).
• Использование: веб.
• Тарифы: от 1 750 ₽/мес. за пользователя (минимум 10 пользователей)

ADVANTA — российская система управления портфелями, программами, проектами, мероприятиями и задачами. Разработчик позиционирует ее как «проектную ERP-систему», поскольку она покрывает все процессы проектного управления, автоматизирует работу всех участников проектной деятельности, позволяет планировать и контролировать ресурсы проектов. Также платформа занимается управлением трудовыми ресурсами, позволяет проводить анализ загрузки подразделений и балансировать нагрузку, обеспечивает онлайн-коммуникации и организует живую ленту событий и многое другое. Разработана она достаточно давно, но сейчас ее развитие несколько замедлилось.

Изображение: ADVANTA

В то же время часть привычных для agile-разработчика функций может быть не реализована. Например, в базовом сервисе нет канбан-досок, хотя основные элементы scrum — работа со спринтами (управление бэклогом и другие) все-таки есть. При современном развитии технологий дописать недостающие элементы управления, если будет хороший заказчик, вполне реально, но пойдет ли на это разработчик — не очень понятно. При этом функциональность системы гораздо шире и для проектов по разработке ПО она может быть избыточна.

Заключение

В целом, видно, что российским разработчикам можно не так уж бояться ухода с нашего рынка Atlassian и прекращения поддержки Jira. В России уже разработано достаточно собственных продуктов и сервисов, которые позволяют организовать работу с программным обеспечением и управление проектами и командами порой ничуть не хуже, чем с Jira. Причем некоторые компании даже готовы помогать в переходе на их продукт, а, возможно, и оперативно доделают нужные функции, которые необходимы конкретному клиенту. При этом надо учитывать, что процесс миграции далеко не во всех случаях будет быстрым и безболезненным, а на доводку рабочих процессов в новой системе потребуется потратить некоторые ресурсы. Тем не менее, переезд рано или поздно всё равно придется сделать.

Когда говорят «одноплатный (микро-)компьютер» или просто «одноплатник», на ум большинству сразу приходят Raspberry Pi. Первой «малинке» в этом году исполнится 10 лет, и это уже давно не просто серия продуктов с 40-млн тиражом, вокруг которой сложилась экосистема программных и аппаратных решений, а целое явление. Выход Raspberry Pi привёл не только к тому, что гранды индустрии были вынуждены пересматривать свои серии продуктов, но и к появлению целой плеяды конкурентов.

Тем не менее и тогда, и сейчас принципы создания очередного поколения «малинок» остаются прежними — это должен быть максимально дешёвый микрокомпьютер. Поэтому создателям приходится идти на компромиссы и постоянно экономить. При этом любая дополнительная обвязка, без которой трудно обойтись в реальных задачах, особенно для коммерческих применений, часто нивелирует низкую стоимость самой платы и усложняет итоговое решение.

И вот тут-то на сцену выходят другие производители, которые всё это время не сидели сложа руки, а создавали альтернативы столь популярной «малинке». И надо сказать, небезуспешно. Кто-то старался ещё больше удешевить конечный продукт, не экономя, однако, на спичках. Кто-то на цену оглядывался в меньшей степени, стараясь создать всё ещё доступный, но гораздо более привлекательный продукт. А кто-то пошёл по пути интеграции и создания практически полностью готовых к работе решений.

Наконец, у этих альтернативных решений есть ещё одно неоспоримое достоинство, крайне важное для любых мало-мальски серьёзных проектов, где нужны не одна-две платы, а десятки, сотни или даже тысячи, — это доступность! С конца прошлого года на Raspberry Pi начался резкий рост цен и дефицит. В Европе за самую популярную модель 4B с 4 Гбайт памяти в среднем просят порядка €100, а за 8-Гбайт версию цена поднималась и до €150. Энтузиасты даже создали трекер доступности «малинок», который, правда, показывает наличие в продаже всего двух 2-Гбайт моделей.

Мириться с таким положением дел решительно нельзя, поэтому рассмотрим три альтернативы Raspberry Pi, примерно подпадающие под описанные выше пути развития: Firefly Station P2, Radxa ROCK Pi 4A и Hardkernel ODROID-N2+. Все с 4 Гбайт оперативной памяти, чтобы их можно было сравнить всё с той же «малинкой» версии 4B в некоторых тестах.

Firefly Station P2

Station P2 относится к категории законченных решений. Да, внутри у него модуль Firefly ROC-RK3568-PC, но это уже полноценный микроПК, упакованный в металлический корпус. Все необходимые порты и разъёмы выведены наружу, есть даже кнопки питания и сброса (спрятана на дне 3,5-мм стереоразъёма), а также индикатор. То есть модификаций со стороны аппаратной части не предполагается, поскольку, например, никаких GPIO не выведено — есть разве что выход интерфейсов RS485/RS232 (через порт RJ-45) + порт USB-C (для OTG).

Firefly Station P2

Более того, у устройства весьма приличная комплектация: пара антенн на 5 dBbi (Wi-Fi 6 + Bluetooth 5.0), HDMI-кабель (тип D, 2.0a, вывод до 4K@60), кабель USB Type-C и набор для монтажа накопителя. Именно подсистема хранения данных — сильная сторона Firefly Station P2. У мини-ПК есть слот microSD, поддержка eMMC-модулей (до 128 Гбайт), слот M.2 2242/2280 для NVMe SSD (PCIe 3.0) и даже место для 7-мм SATA-3 SSD/HDD. Для питания нужен внешний БП (9–24 В, до 24 Вт).

Из не упомянутых выше интерфейсов есть пара 1GbE-портов (RJ-45), два USB 2.0 и один USB 3.0 Type-A, один USB-C (OTG) и собственно HDMI 2.0a. Обслуживает всё это добро современный, но, пожалуй, не самый быстрый чипсет Rockchip RK3568. У него четыре ядра Cortex-A55 с частотой до 2 ГГц и GPU Mali-G52 (2EE), дополненный NPU (0,8 Топс на INT8) и неплохим видеокодеком, которые предлагает декодеров до 4K@60 для H.265/H.264/VP9 + энкодер до Full HD@100 для H.265/H.264. Дополняют картину 2, 4 или 8 Гбайт LPDDR4-памяти (частота не уточняется).

Собственно говоря, сама Firefly позиционирует Station P2 в первую очередь как медиацентр или мини-ПК для гиков. Но его вполне можно использовать в качестве IoT-шлюза, NVR, простых сценариев digital signage и так далее. Он может работать при температуре от -10 до +60 °C, а корпус у него не сильно больше самой платы (138 × 77,5 × 19,9 мм) и к тому же играет ещё и роль радиатора. А подготовка системы к работе максимально упрощена — образ можно «залить» с помощью microSD или через OTG + есть опциональный загрузчик для выбора ОС.

Конкретно для Firefly Station P2 разработчик предлагает полностью готовые образы Ubuntu 18.04/20.04, Android 11, OpenWRT и LEDE, а также неофициальные сборки Android TV, Armbian, EmuELEC, FreeBSD и Manjaro. Но для самой платы, лежащей в основе микро-ПК, также есть Buildroot, RTLinux и OpenHarmony. Для разработчиков есть хорошая документация и FAQ, DT- и заголовочные файлы, утилиты и инструкции по сборке, некоторые исходники и SDK (в том числе для NPU). Ну и стоит отметить хорошие сборки Ubuntu 20.04 и Station OS. В общем, Firefly постаралась, чтобы всё работало «из коробки».

Отдельно стоит сказать пару слов про фирменную Station OS — это несколько доработанная версия Android 11 с собственной оболочкой, ориентированной как на раз на развлечения. Есть утилита для быстрой настройки некоторых параметров, несколько магазинов приложений (поддержка Google Play заявлена, но установить его не удалось), мобильное приложение для использования в качестве ПДУ, поддержка некоторых привычных клавиатурных комбинаций, а также собственная система обновления прошивки. Конкретно для StationPC есть и своя Wiki.

Radxa ROCK Pi 4A

ROCK Pi 4 наиболее близок к продуктам Raspberry Pi по форм-фактору — это классический компактный (85 × 54 × 17 мм) одноплатник — и по цене. Существенная разница состоит в том, что у Radxa эксклюзивные условия на поставки чипов Rockchip, поэтому дефицита компонентов она не испытывает, что положительно сказывается на доступности и, соответственно, на реальной, а не «бумажной» цене плат. То есть Radxa ROCK Pi 4 сейчас в среднем дешевле и его гораздо проще купить.

Radxa ROCK Pi 4A и Raspbery Pi 4B

ROCK Pi 4 представлен в трёх модификациях c индексами A, B и C. Последние две отличаются наличием встроенных модулей Wi-Fi 5 и Bluetooth 5.0 и опциональной поддержкой PoE (посредством HAT) на единственном 1GbE-порте (RJ-45), а у модели C также есть дополнительный выход Mini DP 1.2 (2K@60) и фиксированный объём памяти, тогда как у A и B есть только HDMI 2.0 (тип D, 4K@60) и MIPI DSI (2 линии, 480p), которые могут работать одновременно. Объём памяти составляет 1, 2 или те же 4 Гбайт LPDDR-3200.

В принципе, есть более специфичная Core-версия (SoM), а также модификация Plus с предустановленной eMMC-памятью и u.FL-коннекторами для внешних антенн. Да, не в пример «малинке» у всех обычных моделей ROCK Pi 4 A/B/C имеется поддержка microSD (до 128 Гбайт), M.2 2280 NVMe SSD (PCIe 2.1 x2/x4, M Key, до 2 Тбайт, нужен переходник) и модулей eMMC 5.1 (до 128 Гбайт). И точно так же не в пример ей ROCK Pi 4 намного менее требователен к кабелям и источнику питания, которое подаётся через порт USB-С от БП с поддержкой PD 2.0 или QC 3.0/2.0 (18 Вт).

В наличии имеются сразу четыре порта USB Type-A, по два версии 3.0 и 2.0. Один из портов USB 3.0 может работать в режиме OTG (5 В, 1,45 A), для чего есть отдельный аппаратный переключатель. Для всех остальных портов общий бюджет по току составляет 3 А, то есть с подключением внешних SSD/HDD надо быть поаккуратнее. Для камеры есть интерфейс MIPI CSI, тоже на 2 линии, и FPC-коннектор, как и у DSI, — к ним можно подключить соответствующие фирменные аксессуары Raspberry Pi.

Среди прочих интерфейсов есть 3,5-мм аудиоразъём (стерео + микрофон), коннектор внешней батарейки (нужна только для RTC) и, конечно же, двурядная 40-контактная гребёнка GPIO: UART, I2C, I2S, PWM, S/PDIF, ADC, +3,3 В и +5 В. Всё управляется через DT-оверлеи. Есть поддержка различных HAT’ов, в том числе, например, для SATA и дополнительных USB. Кроме того, есть контактная площадка для SPI-модуля, что позволит прошить первичный загрузчик именно туда, а потом загружаться уже с NVMe SSD.

На самой плате есть два индикатора: состояния (поведение настраивается) и наличия питания (невероятно яркий). Опционально доступен фирменный радиатор, который накрывает основную SoC Rockchip RK3399: два ядра Cortex-A72 (1,8 ГГц) + четыре ядра Cortex-A55 (1,4 ГГц) + GPU Mali T860 MP4. Сам чип, в общем, уже далеко не нов, но видеокодек у него неплохой: декодер 4K@60 VP9 и 10-бит H.264/H.265, а также Full HD@60 VC-1/VP8/MPEG-1/2 + энкодер Full HD H.264 and VP8. Выделенного NPU нет.

Radxa предлагает официальные сборки вплоть до Android 9 TV (c Google Play) и Android 10 (это практически AOSP в голом виде, если не считать утилитки для быстрой настройки некоторых параметров), а также сборки Ubuntu Server 20.04 и Debian 10 (с окружением рабочего стола). Две последних опции являются основными ОС, и именно для них предлагается собственный apt-репозиторий, библиотеки, SDK, инструкции по сборке, исходники, примеры и так далее.

В общем, имеется практически полный набор необходимого софта. Отдельно стоит обратить внимание на то, что у ROCK Pi 4 есть несколько версий, чуть различающихся аппаратно. Нюанс в том, что вся информация традиционно сведена в огромную Wiki, но в данном случае это скорее минус, поскольку навигация там устроена очень плохо — какие-то рецепты в ней проще найти через Google, но не факт, что они будут актуальными. Ну или можно задать вопрос на форуме.

Hardkernel ODROID-N2+

И ROCK Pi 4, и ODROID-N2+ нередко используются в качестве основы для коммерческих решений, но продукт Hardkernel хоть и дороже, зато гораздо интереснее с точки зрения аппаратной составляющей. Всё дело в деталях, в каких-то, быть может, на первый взгляд мелочах, о которых создатели подумали заранее. Плата не самая маленькая (100 × 91 × 18,75 мм), зато сразу оснащена радиатором и двухконтактным разъёмом для подключения опционального вентилятора. Есть и фирменный VESA-крепёж.

Hardkernel ODROID-N2+

Для UART имеется выделенная колодка, а на традиционную двурядную 40-контактную гребёнку GPIO выводятся I2C, UART, SPI, ADC, PCM/PWM, +3,3 В и +5 В. Для S/PDIF и I2S придётся самому подпаять ещё одну маленькую гребёнку, если недостаточно обычного 3,5-мм стереоразъёма, который, кстати, одновременно является и композитным видеовыходом в дополнение к обычному же HDMI 2.0 (тип D, 4K@60, HDR, CEC, EDID). Да-да, управление выводами и прочими низкоуровневыми параметрами всё так же делается через DT-оверлеи и конфигурационные файлы.

На этом список приятных особенностей не заканчивается. На плате есть лоток под батарею CR2032 для RTC, ИК-приёмник, посадочное место для eMMC-модуля (до 128 Гбайт), слот microSD, SPI-память (8 МиБ), переключатель загрузки и порт Micro-USB 2.0 для OTG-подключения. Разработчики предлагают небольшой загрузчик Petitboot для SPI, который как раз позволяет посредством OTG залить ПО на eMMC/microSD, что удобно, когда одноплатник уже установлен в какое-то конечное устройство.

Также есть четыре порта USB 3.0, 1GbE-порт и пара неярких индикаторов (наличие питания и состояние, можно вывести индикацию на GPIO). Питается устройство от внешнего БП: DC 7,5 – 16 В, рекомендуется 12 В и 2 А. «Голая» плата потребляет до 6,2 Вт. Hardkernel обращает внимание, что есть несколько версий ODROID-N2+, которые пусть и незначительно, но всё же различаются, в том числе по требованиям к питанию. Также отмечается, что для работы некоторых функций нужна конкретная версия ядра Linux.

Основными ОС для ODROID-N2+ являются Android 9 (Google Play можно установить) и Ubuntu 18.04/20.04 (в минимальной версии и с Mate-окружением) с собственным apt-репозиторием, для которых компания регулярно выпускает новые сборки. Но есть и Buildroot, например. Опять-таки, как и положено, значительная часть исходников, инструкций по сборке, рецептов и прочей информации сведено в удобную Wiki. Форум тоже активный. Среди сторонних поддерживаемых дистрибутивов есть Arch Linux, Archdroid, Armbian, Debian 9, DietPi, CoreELEC, Galv0nized, Manjaro, Volumio 2, а также специализированные сборки для 3D-принтеров и ретрогейминга.

Наконец, о главном! ODROID-N2+ базируется на весьма приличной SoC Amlogic S922X: четыре ядра Cortex-A73 (2,2 ГГц) + два ядра Cortex-A53 (1,9 ГГц) + GPU Mali-G52 MP6 (6EE). Видеокодек тоже хорош: декодер 4K@60 VP9/H.265/ AVS2-P2 + 4K@30 H.264 AVC + Full HD@60 H.264 MVC/AVS-P16/MPEG-1/2/4/RealVideo 8/9/10 + энкодер Full HD@60 H.264/H.265. NPU нет. Дополняет SoC 2 или 4 Гбайт DDR4-2666.

Тестирование

Для небольшого сравнительного тестирования всех четырёх устройств (включая «малинку») были использованы последние доступные на момент подготовки материала официальные сборки Ubuntu 20.04 от разработчиков с их же репозиториями, если таковые имелись, — сначала в минимальной версии, а потом с графическим окружением (с ручной доустановкой в случае ROCK Pi 4A).

Для ROCK Pi 4A и ODROID-N2+ использовались сборки Android 9 от производителя, а для Station P2 — последняя Station OS на базе Android 11. Поскольку для Raspberry Pi 4B официально Android нет, то была использована горячо рекомендуемая в Сети как наиболее стабильная сборка LineageOS 17.1 (Android 10) от KonstaKANG. Все-все варианты ОС — по возможности 64-битные и с установленными последними доступными обновлениями. Все настройки, включая governor’ы, были оставлены по умолчанию.

Для тестов одноплатников с microSD использовались 128-Гбайт карты памяти Samsung EVO Plus (UHS-I U3, Class 10), а в случае Station P2 образы заливались на встроенный 32-Гбайт eMMC-модуль. У ROCK Pi 4A частота «больших» и «малых» ядер была разблокирована, то есть могла подниматься до 2 и 1,5 ГГц соответственно. Поскольку на плате был установлен фирменный радиатор, на стабильность работы это не повлияло. Правда, рассчитывать на какой-то особый прирост производительности в этом случае всё равно не стоит.

Хотя и без разгона для ROCK Pi 4A радиатор будет всё же нелишним. Для ODROID-N2+ техническая возможность разгона есть, но разработчики настоятельно не рекомендуют этого делать как раз из-за потери стабильности и минимального прироста реальной скорости работы (да и то не во всех случаях). К тому же базовая частота по сравнению с N2 и так была заметно поднята, а отдельного вентилятора для активного охлаждения в нашей комплектации не было.

В Ubuntu были запущены комплексные бенчмарки Geekbench 5.4.4 и PassMark Performance Test 10.2, а также были собраны некоторые бенчмарки из Phoronix Test Suite 10.6.1. Результаты последних не стоит воспринимать как абсолютные значения, поскольку никакой индивидуальной оптимизации для каждого из них не проводилось. Но для сравнения и понимания, что можно получить «из коробки», их будет достаточно. Кроме того, полезно помнить, что часть тестов явно зависит от скорости работы основного накопителя.

В графических окружениях тесты ограничены WebXPRT 3 в Chromium (в качестве ещё одного комплексного бенчмарка), а также glmark2-es2 (on-screen) — ПО в обоих случаях из штатных репозиториев. Тут стоит отметить два момента. Во-первых, все сборки от всех вендоров действительно оказались субъективно неплохо оптимизированными, хотя, как это обычно и бывает, сами разработчики, например, фиксируются на какой-то одной версии ядра, которая может несколько отставать от апстрима (у ODROID вот оно оказалось посвежее других). Это обычно не вызывает проблем, но это надо учитывать (для Station P2, например, не нашлось совпадающих со штатной версией ядра заголовочных файлов).

Во-вторых, результат Raspberry Pi 4B в glmark удивлять не должен. Как уже говорилось, сильная сторона этих решений — программная экосистема и долгая работа над оптимизацией ПО совместно с сообществом и крупными компаниями. Этого же в той или иной степени можно добиться и с некоторыми другими одноплатниками. Например, для того же ODROID-N2+ есть предрелизная версия Ubuntu 21.10 с ядром Linux 5-й ветки, открытым драйвером Panfrost и использованием Wayland по умолчанию, где glmark2 выдаёт уже 979 баллов!

Наконец, ещё одна группа тестов касается небольшой проверки скорости работы сетевых интерфейсов с помощью iperf3, от проблем с которой страдали ранние версии «малинки» и до сих пор страдают некоторые дешёвые одноплатники без выделенного контроллера. Тут, пожалуй, стоит отметить только относительно низкий результат Raspberry Pi 4 в беспроводном (WL) сегменте — ему внешние антенны с усилением не помешали бы.

Заключение

За десять лет с момента появления Raspberry Pi многое изменилось. Появилось множество конкурирующих решений: как попроще, так и более продвинутых, как подороже, так и подешевле, как побыстрее, так и помедленнее, как специализированных, так и, условно говоря, широкого профиля. К сожалению, «малинка» стала жертвой собственной популярности — доступность снизилась, а цена выросла. Поэтому и приходится искать альтернативы. Это, собственно говоря, один из лейтмотивов всего материала.

Безоговорочным лидером среди протестированных одноплатников стал ODROID-N2+ от Hardkernel. Он побеждает остальных участников и по производительности, и по оснащённости, а стоит при этом разумных денег. Вероятно, именно поэтому его, к примеру, даже в России тысячами закупают производители терминалов, касс самообслуживания, киосков, вендинговых машин и так далее. ROCK Pi 4A, быть может, и не везде быстрее Raspberry Pi 4, но опять-таки дешевле и доступнее.

microSD + eMMC + NVMe

Впрочем, у всех протестированных моделей есть ещё одно неоспоримое преимущество — поддержка eMMC-модулей. Это вообще довольно больная тема для современных микроПК для бизнеса (а не развлечений) — для работы «в поле» нужен более надёжный, долговечный и желательно не тормозящий накопитель. У Station P2, как и у ROCK Pi 4A, имеется поддержка NVMe SSD, но это важно скорее для каких-то медиазадач.

Вообще, Station P2 — это несколько отдельная категория. Как и говорилось в самом начале, он в целом подходит для коммерческих решений, но ориентирован скорее на мультимедийные сценарии использования. Кроме того, подход «возьмите сразу всё готовое» ведёт к некоторой избыточности. Сама Firefly, в частности, продвигает конфигурации с уже установленным SSD, что повышает цену.

В чём Raspberry Pi выигрывает, так это в более развитой экосистеме. Это касается и аппаратной части — плат расширения (HAT), модулей, корпусов, аксессуаров и так далее, совместимости с которыми пытаются добиться и другие вендоры, — и ПО. Есть множество готовых, более-менее оптимизированных программных решений практически на все случаи жизни. Впрочем, конкретно для бизнес-задач это несколько нивелируется тем, что нередко всё равно приходится создавать кастомные системы, заточенные под решение вполне конкретных проблем, так что в любом случае всё в конечном итоге надо собирать и отлаживать самостоятельно.

Raspbery Pi 4B

Напоследок пара слов благодарности и приятный сюрприз. Одноплатники для этого теста были предоставлены дистрибьютором 3Logic. Ассортимент у него, конечно, гораздо шире, но конкретно протестированные модели можно без проблем купить в России и даже получить поддержку от специалистов компании, которая имеет прямой выход на производителей.

Firefly Station P2 c 4 Гбайт RAM, предустановленным модулем eMMC (32 Гбайт) и NVMe SSD (256 Гбайт) стоит у 3Logic $449, Radxa ROCK Pi 4A (4 Гбайт RAM) обойдётся в $157, а за Hardkernel ODROID-N2+ (4 Гбайт RAM) просят всего $173. А читатели ServerNews до 30.04 при заказе по почте или телефону +7 (495) 145 89-66 (доб. 1526) могут получить скидку около 14 %, и тогда эти устройства обойдутся в $390, 135 и 150 соответственно. Raspberry Pi 4B с тем же объёмом памяти, к слову, предлагается за $287,5.

Само название Instant On прямо намекает на простоту установки и настройки оборудования. При этом простота в данном случае вовсе не означает примитивность с точки зрения возможностей. Напротив, Aruba Instant On — это решения корпоративного класса начального уровня, ориентированные на сегмент малого и среднего бизнеса (SMB). А самые младшие варианты пересекаются уже с SOHO-сегментом и подойдут для организации удалённых рабочих мест.

Такой подход подразумевает относительно невысокие цены и отсутствие дополнительных затрат — заявленная функциональность доступна сразу и в полном объёме, без каких-либо дополнительных подписок. Aruba предлагает точки доступа (ТД), и в серию Instant On входит несколько моделей различного назначения, а коммутаторы Instant On фактически являются заменой и наследниками части серий HPE OfficeConnect.

Серия точек доступа Instant On включает шесть моделей: AP11, AP12, AP15, AP22, а также AP11D и AP17. Они ориентированы на разные по площади и числу клиентов помещения, а последняя в списке и вовсе является уличной. Smart-коммутаторы Instant On представлены сериями 1930 и 1960 с числом 1GbE-портов от 8 до 48 и опциональным PoE. В старших моделях доступные 10GbE-порты. Серия 1960 отличается возможностью стекирования. Кроме того, есть и серия коммутаторов 1830.

Мы рассмотрим связку из точки доступа Aruba AP15 (R2X06A) и smart-коммутатора с длинным официальным названием 1930 8G PoE 2SFP 124W (JL681A). Это очень удачное сочетание в плане возможностей, которое, по задумке, позволит покрыть нужды большинства SMB-потребителей. Тем более что для ТД всё равно нужны питание и сетевое подключение, поэтому наличие именно PoE-коммутатора удобно, хотя и необязательно.

Точка доступа Aruba Instant On AP15

Точка доступа небольшая (183 × 183 × 41 мм), но увесистая (674 г), несмотря на то, что корпус её сделан из пластика. На матовой передней панели белого цвета располагаются два не слишком ярких индикатора — состояния системы и готовности сетей Wi-Fi. Можно настроить индикацию так, чтобы она включалась только при наличии каких-либо проблем. На заднюю часть выведен 1GbE-порт RJ-45, круглое гнездо питания, колодка консольного порта (под резиновой заглушкой), глубоко утопленная кнопка сброса настроек, а также гнездо для замка Kensington.

Aruba Instant On AP15

На верхнем торце есть ещё и порт USB 2.0, но его можно задействовать только для питания каких-то маломощных устройств. Сама точка питается или от внешнего адаптера (12 В DC), или посредством PoE (802.3af Class 3). Пиковое энергопотребление составляет 12,7 и 14,4 Вт соответственно. К точке можно подключить оба источника — в этом случае предпочтение отдаётся внешнему БП, а PoE достаётся обеспечение лишь малой части мощности. При сбое БП точка переключается на PoE как на основной источник.

Стандартная гарантия на Aruba AP15 составляет 2 года. В течение первых 90 дней доступна круглосуточная поддержка по телефону и в чате, а в оставшийся период — только в чате. Кроме того, у Aruba есть довольно развитое и активное сообщество, где решить вопросы помогут как специалисты компании, так и другие пользователи. За отдельную плату доступны планы Foundation Care сроком 3 или 5 лет, которые включают всю ту же поддержку 24×7 по телефону и в чате, а также приоритетное решение проблем с аппаратной и программной частями.

Устройство рассчитано на работу при температуре от 0 до +50 °C и отн. влажности от 3 до 95% без образования конденсата. Заявленный уровень MTBF составляет 105 лет (при +25 °C). Никакой защиты от неблагоприятных условий не предусмотрено, так что работа точки возможна исключительно внутри помещений. В комплекте поставляется бумажная документация, патч-корд, а также два вида пластиковых креплений для монтажа точки на потолок (с помощью направляющей) или на стену. Во втором случае расстояние от крепления до задней стенки ТД составляет 4 см, что позволяет свободно подвести Ethernet-кабель и даёт доступ воздуху.

Вообще говоря, легко заметить, что и внешне, и внутренне AP15 очень похожа на (I)AP-315: 4 × 4 802.11ac (5 ГГц, 20/40/80 МГц, до 1733 Мбит/с, 6 дБи) + 2 × 2 802.11n (2,4 ГГц, 20/40 МГц, до 300 Мбит/с, 3,6 дБи). Есть даже Bluetooth LE, который, правда, для IoT-подключений задействовать пока нельзя, и поддержка mesh. Несмотря на схожесть, они всё же относятся к разным сегментам. Самое главное — AP15 предназначена для использования с облачной платформой Instant On! В этом есть как плюсы, так и минусы.

Локального веб-интерфейса у Aruba AP15 нет. Точнее говоря, есть одна страничка, где при первичной настройке можно переключиться на PPPoE-соединение и задать VLAN для восходящего подключения. Всё управление осуществляется через облачный портал Instant On, так что при отсутствии интернет-подключения поменять настройки будет нельзя. Впрочем, базовых параметров самой ТД тут не очень много, и они почему-то раскиданы по разным местам.

Тут можно посмотреть базовую информацию о работе ТД: IP-адрес, состояние сети, число подключённых клиентов для каждого радиомодуля, текущую скорость передачи данных на Ethernet-порте. Для обоих радиомодулей можно задать ширину (20, или 20/40 и 20/40, или 20/40/80 МГц) и номера каналов, а также мощность передачи (семь уровней). Номера каналов можно выбрать только из заранее заданного набора, причём по возможности непересекающиеся. Тут же можно заставить устройство помигать индикаторами, что упрощает поиск физического местоположения точки.

Коммутатор Aruba Instant On 1930 8G PoE 2SFP 124W

Серия 1930, как уже было сказано, удачно дополняет точки доступа Instant On и придерживается такого же подхода — максимально упрощённое управление посредством облачной службы. Но для этих устройств предлагается и полностью локальное управление, где открывается всё богатство настроек и возможностей, которым можно посвятить отдельный материал или… просто ознакомиться с инструкцией на 200 с лишним страниц.

Aruba Instant On 1930 8G PoE 2SFP

Отдельно рассматривать этот сценарий использования не будем. Отметим лишь, что в необлачном режиме доступны расширенные настройки для VLAN, маршрутизации, агрегации, QoS, ACL (и различных уровней защиты вообще), STP, LLDP, PoE, логирования и отладки, SNMP, IGMP и так далее. То есть это вполне приличный smart-коммутатор L2+ с удобным веб-интерфейсом управления. Но, например, CLI и REST API нет. Но ни они, ни подавляющее большинство других функций простым пользователям не нужны.

Зато для подключения нескольких точек доступа и IP-камер, PoS-терминала и, например, рекламного экрана в небольшой торговой точке или офисе возможностей даже младшей версии о восьми PoE-портах (1GbE, RJ-45) будет, скорее всего, достаточно. Наличие минимум двух SFP-портов (тоже 1 GbE) позволит надёжно подключить дополнительные коммутаторы. Да и в целом серия Instant On позволяет довольно легко наращивать проводную и беспроводную инфраструктуру по мере роста потребностей.

Отличительной чертой серии также является дизайн. Речь не только про симпатичную внешность, но и про конструкцию в целом: полностью пассивное охлаждение у всех моделей, встроенный блок питания 200–240 В 50/60 Гц (кроме самой младшей модели), возможность монтажа в стойку, понятная индикация. Хотя решение снабдить порты RJ-45 только одним индикатором, по умолчанию указывающим на сетевую активность, и добавить кнопку для показа статуса отдачи питания, PoE и скорости всё же спорно.

Из-за встроенного БП габариты и масса двух младших моделей существенно различаются. У PoE-версии они составляют 254 × 254 × 44 мм (1U) и 2,11 кг соответственно. В комплекте с устройством идёт бумажная документация, кабель питания, винты и шурупы, пластиковые заглушки в SFP-портах, самоклеящиеся резиновые ножки, при такой массе не очень-то и необходимые, и ушки, которые можно использовать и для крепления коммутатора к стене. На днище также есть т-образные выемки для монтажа устройства, например, под столешницей.

На все коммутаторы Instant On даётся пожизненная ограниченная гарантия, но не более 5 лет после официального объявления о прекращении продаж. Как и в случае точек доступа, в первые 90 дней предоставляется круглосуточная поддержка по телефону и в чате, а потом — только в чате и в сообществе. И точно так же можно докупить планы Foundation Care на 3 или 5 лет с приоритетной поддержкой по всем каналам.

Максимальное заявленное энергопотребление нашей модели коммутатора равно 150,2 Вт, а в режиме ожидания — 11,7 Вт. Устройство рассчитано на работу внутри помещений при температуре от 0 до +40 °C и отн. влажности от 15 до 95% без образования конденсата, а заявленный показатель MTBF составляет 95 лет. На всех портах RJ-45 предлагается поддержка 802.3af/at Class4 (PoE+), но суммарный бюджет для них составляет 124 Вт. Для каждого порта можно зарезервировать мощность в соответствии с его классом, а также указать один из трёх уровней приоритета.

Есть и простенькое расписание подачи питания, которое применяется для всех портов сразу: дни недели + всего один временной промежуток в течение дня. Для каждого порта можно указать принадлежность к VLAN (с тегированием и без), включить аутентификацию по MAC и/или 802.1X, а также отключить защиту от DHCP- и ARP-атак. Заодно можно глянуть текущий список клиентов и скорости передачи данных. Отдельно можно включить зеркалирование на один порт всего трафика из выбранной VLAN или группы портов.

Доступна и агрегация, LACP или статическая, с выбором VLAN — до четырёх групп и до четырёх портов в одной группе в нашем случае. Если коммутатор обслуживает несколько подсетей, то между ними можно настроить маршрутизацию. По умолчанию активен RSTP. Из дополнительных опций для всей локальной сети есть возможность задать DNS-сервер (по умолчанию используется Cloudflare), а также прописать статические IP-адреса для коммутатора и ТД. Ну и перезагрузить устройства, отключить их от облака Instant On и проверить соединение с Сетью (трассировкой до указанного пользователем адреса).

Настройка

В случае облачного управления (а для ТД, напомним, это единственный вариант) всё завязано на сервис Aruba Instant On, доступный как через браузер, так и через приложение для Android или iOS, где как раз для добавления точек и пригодится Bluetooth. Функциональность в обоих случаях практически идентична. Честно говоря, веб-версия гораздо удобнее — хотя бы тем, что интерфейс в ней «стройнее». Без подключения к облаку, то есть при пропавшем интернет-соединении, устройства работать будут, но только без дополнительных функций. Постоянно существовать в таком режиме затруднительно.

Один аккаунт может управлять несколькими независимыми наборами оборудования. Для аккаунта можно включить 2FA и настроить уведомления в приложении или на почту, которые будут отправляться при важных изменениях в сетевых подключениях, выходе новых прошивок или проблемах с оборудованием, включая перегруз. Для каждой локации можно добавить ещё нескольких администраторов или полностью передать управление другому аккаунту, задать часовой пояс и выбрать день недели и время для автообновления прошивок.

Смотреть все изображения (8)

Смотреть все
изображения (8)

Для работы Aruba Instant On требуется интернет-подключение и доступ снаружи к портам 80, 443 и 123. Мастер настройки предложит выбрать один из трёх вариантов развёртывания: точка, коммутатор по отдельности или же оба устройства сразу. ТД сама по себе может работать в режиме простенького Wi-Fi-маршрутизатора, но лучше, когда таковой в сети уже имеется, чтобы сразу подключить к нему коммутатор, а к нему ТД. Добавление других устройств Instant On или замена имеющихся (с переносом конфигурации) возможно только после первичной настройки.

Если всё подключено правильно и доступ в Интернет есть, мастер самостоятельно обнаружит устройства. Запасной вариант — поиск по серийному номеру. В процессе настройки надо будет выбрать регион и задать имя сети и пароль — фактически будут заведены общая VLAN (ID 1) на коммутаторе и SSID на точке. Затем до последних версий будут обновлены прошивки устройств. От момента распаковки до полной готовности к использования пройдёт никак не больше получаса.

На коммутаторе по умолчанию будет заведена первая VLAN, охватывающая все порты, не имеющая ограничений (то есть доступ будет ко всем сетям, а не только в Интернет) и с отключённой защитой от DHCP/ARP-атак. Аналогичные параметры доступны и при настройке других проводных VLAN с собственными ID и выбранными портами, с тегированием или без него. Можно создать одну выделенную VLAN для IP-телефонов. Они автоматически будут определяться по OUI и попадать в неё, но только при прямом подключении к портам коммутатора. Отдельно про это не говорится, но, вероятно, трафик этой VLAN будет иметь более высокий приоритет, иначе особого смысла в ней нет.

Беспроводные сети делятся на два типа: рабочие или гостевые. По умолчанию создаётся одна рабочая сеть с WPA2-PSK, обоими активными диапазонами, первой же VLAN от коммутатора и без ограничений доступа. Для рабочих сетей можно включить WPA3, задействовать RADIUS, скрыть SSID, задать лимит скорости для каждого клиента (1/10/15/25 Мбит/c) или всей сети (up и down, 1–64 Мбит/с), выбрать диапазон(-ы), задать расписание работы (опять же дни недели + один временной промежуток), выделить другую подсеть (с DHCP и NAT), запретить доступ в локальную сеть. Для радио есть ещё пара опций, которые могут оказаться несовместимыми с некоторыми клиентами: оптимизация для видеостриминга и расширение покрытия для диапазона 2,4 ГГц.

Наконец, есть ещё одна интересная функция — контроль и учёт типа трафика. Здесь доступны следующие категории: веб, социальные сети, мессенджеры и e-mail, некие утилиты, стиль/образ жизни (lifestyle), бизнес и экономика, продуктивность, стриминг, новости, образование, взрослый контент (adult и explicit), дети и семья, правительственные ресурсы и политика, игры, магазины, спорт и рекреация, небезопасные ресурсы (malicious and risk). Нераспознанный трафик попадает в uncategorized, а весь локальный проводной трафик — в wired. Статистика собирается за последние 24 часа.

Детальную статистику можно отключить, оставив отслеживание только суммарных показателей по категориям. И наверное, надо отдельно указать, что точность детектирования далека от 100%, а для проводных клиентов оно вообще не ведётся. Для каждого беспроводного клиента можно посмотреть отдельную статистику по наиболее популярным для него категориям. Ну и для всех подключённых устройств есть возможность задать имя и просмотреть текущие скорости передачи данных, тип и параметры подключения, общий объём трафика (кроме агрегированных портов) и тип ОС.

Для гостевых беспроводных сетей, которые по умолчанию прячутся за NAT и имеют доступ только в Интернет, доступны точно такие же опции плюс ещё некоторые специфические. Так, гостевую сеть вообще можно сделать открытой, есть даже Wi-Fi Enhanced Open, но разумнее всего включить гостевой портал. Доступно три варианта доступа. Первый и самый простой — это Facebook✴✴ Wi-Fi. Второй — страничка с логотипом, условиями пользования, галочкой согласия с ними и кнопкой. Все эти элементы можно настроить самостоятельно как для мобильной, так и для десктопной версии.

Наконец, третий вариант — использование внешнего провайдера для captive portal. Есть шаблоны для Aislelabs, Purple, Skyfii.io, Wavespot и Zoox. Часть из них поддерживает авторизацию по SMS, однако это зависит от региона и оплачивается отдельно. Но можно и вручную задать URL для сторонней службы, открыть доступ к Facebook✴✴, Twitter, Linkedin или к избранным доменам и подключить RADIUS. Последний пункт нужен при использовании сторонних провайдеров авторизации. К сожалению, готовых рецептов и шаблонов подключения конкретно для серии Instant On и России Aruba не предоставляет.

Работа с устройствами

В целом особенных проблем в работе связки из точки доступа и коммутатора почти за месяц замечено не было. Фактически Aruba Instant On AP15 заменила собой штатную точку доступа (роутер другого вендора), так что хватило всего пары SSID. Одна предназначалась в основном для IoT и устаревших клиентов (просто чтобы не перенастраивать каждое устройство), а вторая — для подключения более современных девайсов. Впрочем, для обеих никаких особенных настроек не делалось. Отметим лишь увеличившееся, то есть заметное невооружённым глазом, время подключения устройств к ТД по сравнению с аналогичным параметром при использовании локальной штатной точки.

Мобильное приложение Aruba Instant On

Ну и синхронизация с облаком или загрузка что точки, что коммутатора после сбоя по питанию занимает до нескольких минут. Любопытно, что оба устройства периодически сигнализируют о проблемах с доступом к Интернету и облаку в течение нескольких секунд, хотя по факту соединение с Сетью не теряется, что видно и на клиентах, и на вышестоящем маршрутизаторе. А вот когда интернет-подключение действительно пропадает или восстанавливается, уведомление об этом приходит только минут через 10-15.

Из чисто физических особенностей стоит отметить, что AP15 заметно нагревается во время работы, так что вешать её вплотную к стене, пожалуй, не лучшая идея. Про коммутатор в этом отношении сказать нечего, поскольку из PoE-клиентов была только ТД, так что выжать все 124 Вт не представлялось возможным. Ну а с одной точкой он остаётся лишь чуточку тёплым. По умолчанию используется EEE (802.3az); отключить эту функцию нельзя, да и не надо.

Для тестов с iperf 3.1.3 использовался клиент (A) с двухпортовым адаптером X550-T2 с LACP-группой на коммутаторе (R) — просто для проверки работы, так как практического смысла в агрегации в данном случае нет — и беспроводным адаптером Intel Wi-Fi 6E AX210. Все SSID, кроме основной, были отключены, а для оставшейся были заданы автоматический выбор номера канала и его ширины и включён режим WPA3. Jumbo-кадры на коммутаторе не использовались.

Оба диапазона выбирались вручную, но все остальные настройки оставлены по умолчанию. И если в 5 ГГц, где всё же посвободнее, с одним двухпоточным клиентом всё было прекрасно, то вот в 2,4 ГГц точка постоянно норовила скатиться в минимально возможную конфигурацию и при ширине 20/40 МГц — и её можно понять. Ну и стоит лишний раз сказать, что ТД ориентирована на максимальную совместимость с разнообразным оборудованием и стабильность подключения, а потому несколько строже следует букве стандарта, нежели большинство SOHO-устройств.

Работу MU-MIMO проверить не удалось, хотя надежд особых и не было. Тем не менее запрос в техподдержку посредством чата на сайте Aruba был сделан. На ответ ушло часа полтора, а сама история растянулась на две недели. Переписка в почте, удалённая диагностика, несколько звонков в Zoom, в том числе с передачей управления для изменения настроек ТД, — всё общение на английском.

В конце концов порешили, что с таким уровнем интерференции от соседних ТД рассчитывать на работу MU-MIMO, скорее всего, не стоит — поддержка имеет удалённый доступ к логам и отладочной информации, но всегда запрашивает подтверждение на забор данных или изменение настроек. На более простые вопросы техподдержка отвечает быстро, но большинство из них можно решить и без неё, просто более внимательно читая документацию.

Заключение

Aruba Instant On — это удачная серия оборудования именно для SMB-сегмента, для которого возможностей массовых SOHO-устройств уже мало, а функции «больших» корпоративных решений по большей части не нужны, да и слишком дорого обойдутся. Подход Aruba с использованием чуть подтянутых аппаратных решений прошлого поколения «взрослых» продуктов, которые ещё долго будут актуальны, и опора на облачный сервис с полным сокрытием от глаз неподготовленного пользователя второстепенных настроек и возможностей делает эту серию довольно интересной.

Привлекает в Instant On именно простота настройки и использования вкупе с однократной оплатой собственно оборудования, то есть отсутствие обязательных подписок, без которых заявленные функции не были бы доступны, а также вполне приличная гарантия. Если же говорить о том, кому данная серия определённо не подойдёт, то это тем, кому нужны расширенные настройки и возможности управления оборудованием. Точек доступа это касается в полной мере, тогда как коммутаторы всё же имеют необлачный режим работы, причём для этого случая есть даже отдельная ветка прошивок.

Подводные камни? Во-первых, это привязка к облаку — опять же, речь в первую очередь про ТД. Если пропало интернет-подключение, то никакие настройки поменять будет нельзя, хотя сама локальная сеть работу продолжит. Во-вторых, это несколько усложнённая организация документации. Официальные инструкции, руководства, спецификации и т. д. быстрее найти в Google, заодно выяснив, что и на русском материалы тоже есть. В-третьих, поддержка от самой Aruba пока доступна исключительно на английском, а российское представительство HPE занимается только вопросами замены оборудования или исправления дефектов ПО в рамках гарантии.

Стоимость протестированного комплекта на момент создания материала в обычной рознице составляет порядка 32 тыс. руб. (в таблицах даны средние цены по E-Katalog на момент написания материала). Но можно обратиться и напрямую к дистрибьютору, тем самым немного сэкономив. Например, к Treolan, который и предоставил нам комплект для тестирования.

(До-)историческая справка

Путь Arm на серверный рынок оказался долгим и тернистым — и он всё ещё не закончен. Достаточно вспомнить заметные разработки и их в основном печальный конец. Например, 10 лет назад Calxeda анонсировала первые серверные Arm-платформы на базе Cortex-A9, которые были скорее компактными кластерами — такие системы на базе современных SoC и одноплатников создавала, к примеру, Bamboo — и которые, по задумке компании, могли бы пригодиться гиперскейлерам. Через год после анонса уже сама Arm громко заговорила о лицензировании своей архитектуры для серверных систем.

Ampere Altra Q80-30

Ещё через год Calxeda закрылась, но о планах по развитию Arm-чипов для серверов начали говорить уже именитые разработчики и производители. Правда, планы оказались по большей части всего лишь планами, несмотря на вложенные в разработки средства. AMD на два года задержала A1100 и массовый выпуск не наладила. Qualcomm делала-делала Centriq 2400 (и даже анонсировала следующее поколение, Firetrail) — да и забросила. А потом и вовсе купила новичка на этом рынке, компанию Nuvia, но в серверный сегмент пока соваться, судя по всему, не очень хочет.

Наследие проекта Broadcom Vulcan оказалось наиболее живучим — попав в руки Cavium, а затем и Marvell, оно не только успело развиться, но и достигло некоторых успехов в HPC и облаках. Увы, чипы ThunderX, дотянув до третьего-четвёртого поколения, оказались в одночасье заброшены Marvell, которая тоже хотела производить их для гиперскейлеров. Серия HiSilicon Kunpeng активно используется в оборудовании и облаке Huawei, но дальнейшая их судьба под вопросом в связи с санкциями США.

GIGABYTE E252-P30

Все эти события подорвали доверие к Arm как к серверной платформе. Как нам сказал один из крупных серверных вендоров, однажды обжегшись, компания стала очень аккуратно относиться к «нетрадиционным» разработкам. При этом в более узких нишах уже можно говорить об успехах. В сегменте HPC прекрасно показал себя Fujitsu A64FX, который стал основой для Fugaku. Тут, правда, в очередной раз стоит отметить, что это узкоспециализированный чип, концептуально похожий скорее на Xeon Phi, чем на обычные CPU.

Да и энергоэффективным Fugaku никак не назовёшь, хотя именно на эту особенность Arm-решений упирают остальные производители. У китайской Phytium, судя по всему, всё тоже не так плохо. А уж в сегменте гиперскейлеров всё вообще очень интересно. Платформа с третьим поколением Arm-процессоров Amazon Graviton сумела обогнать в некоторых аспектах решения AMD и Intel. Alibaba тоже движется в эту же сторону. Но всё это чипы, созданные под нужды конкретной компании, и просто так купить их нельзя. Кто остаётся?

Ampere Computing

Есть как минимум ещё один неупомянутый проект серверных Arm-процессоров времён Calxeda — X-Gene от Applied Micro. Эта компания в результате ряда сделок стала основой для Ampere Computing, а третье поколение чипов X-Gene — для Ampere A1/eMAG. Зато Ampere получила не только наработки, но и часть команды, имеющей опыт в разработке CPU. В прошлом году компания анонсировала 80-ядерные Ampere Altra (кодовое имя Quicksilver), а ещё через несколько месяцев — и 128-ядерные Ampere Altra Max (Mystique).

Оба варианта изготовлены по 7-нм техпроцессу и совместимы на уровне процессорных разъемов. Новинки появились в Equinix Metal и у ряда гиперскейлеров, включая облако от Oracle, которая вложилась в Ampere пару лет назад. На уровне платформ компанию в первую очередь поддержали Wiwynn и GIGABYTE. Последняя недавно анонсировала уже вторую волну Altra-серверов, впрочем, отличающуюся от первой не столь уж существенно. В следующем году Ampere грозится представить процессоры уже с собственными 5-нм ядрами Siryn, которые, в частности, достанутся Microsoft и Tencent.

Время для вывода на рынок новой платформы в целом оказалось не слишком удачным из-за пандемии коронавируса. С другой стороны, упомянутые клиенты — это опять же гиперскейлеры и облака, на которых Ampere открыто ориентируется и у которых своя экономика и свои цепочки поставок. Более того, Ampere подружилась с NVIDIA и открыла референсную платформу Mt.Jade для OCP. Тем интереснее дальнейшая судьба компании, поскольку неоднократно приходилось слышать мнение, что создавалась она ради продажи какому-нибудь игроку покрупнее.

Ampere Altra

Процессоры Ampere Altra базируются на ядрах Arm Neoverse N1, представленных в начале 2019 года и ориентированных именно на инфраструктурные решения. Сама компания называет архитектуру ARMv8.2+, поскольку часть возможностей портирована из более новых наборов (до v8.4). В частности, это защита от уязвимостей класса Meltdown/Spectre, которая в серверных системах просто необходима. При этом, по словам Arm, производительность Neoverse N1 (Ares) может быть в 2,5 раза выше, чем у ядер предыдущего поколения (Cosmos).

Каждое ядро Altra содержит по 64 Кбайт кеша L1i и L1d, а также 1 Мбайт L2. Между собой ядра и общий для всех L3-кеш (System Level Cache) объёмом 32 Мбайт объединены когерентным меш-интерконнектом Arm CoreLink CMN-600. CMN позволяет объединить до 64 групп, по 2 ядра в каждой, что мы и видим в старших Altra Max. К CMN же подключаются контроллеры памяти и PCIe 4.0. Причём Ampere не практикует «налог на память», то есть эта подсистема одинакова для всей серии Altra. С PCIe ситуация такая же.

Всего доступно 8 каналов DDR4-3200 ECC в режиме до 2DPC и с поддержкой модулей UDIMM/RDIMM/(3DS)LRDIMM. Должны быть активны минимум 4 канала, а суммарный объём RAM на одно процессорное гнездо составляет до 4 Тбайт. Линий PCIe 4.0 предлагается аж 128, с возможностью бифуркации вплоть до x2. Половина линий поддерживает CCIX. В двухсокетных системах суммарно доступно 192 линии, так как по два x16-интерфейса с каждой стороны отводятся для CCIX-связи между CPU. Это напоминает подход AMD, хотя EPYC с их четырьмя x16-линками явно лучше по последнему параметру.

В состав Altra также входят два чипа Arm Cortex-M3, ответственных за функции безопасности, управления, мониторинга и взаимодействия с остальной платформой. Процессоры изготавливаются на TSM по 7-нм техпроцессу FinFET. Они имеют упаковку FCLGA-4926 (77 × 67 мм) — и это важное отличие от немногочисленных конкурентов, поскольку сокетное исполнение несколько упрощает подбор CPU и обслуживание платформы, что может быть важно для ряда заказчиков.

В семействе Ampere Altra сейчас доступно 10 моделей CPU с числом ядер от 32 до 80, c базовой частотой от 1,5 до 3,0 ГГц, максимальной частотой от 1,5 до 3,3 ГГц и TDP от 65 до 250 Вт. Однако воспринимать эти цифры надо иначе, чем обычно. Если x86-процессоры при повышении нагрузки на ядра снижают их частоту, стараясь уложиться в заданный уровень потребления, то Altra, напротив, удерживает одинаковую частоту что для одного, что для всех ядер в независимости от нагрузки, а меняется при этом потребление.

Изображение: Ampere Computing

Заявленный уровень TDP указывает лишь на усреднённое пиковое потребление. Иначе говоря, в подавляющем большинстве нагрузок процессор работает на заявленной максимальной частоте, лишь в некоторых из них откатываясь к базовой. Но и в этом случае разница в частотах невелика. При этом фактический уровень TDP, как правило, заметно ниже заявленного, хотя всё это вовсе не значит, что процессор не скидывает частоту (чаще резко вниз) в периоды простоя или низкой нагрузки.

Изображение: Ampere Computing

Вкупе с отсутствием SMT всё это позволяет Ampere говорить о стабильной производительности CPU, что важно для облачных нагрузок. Но не только — предсказуемость работы нужна, например, и для периферийных вычислений. Собственно говоря, именно такая односокетная система и попала к нам на тестирование от дистрибьютора 3Logic вместе с инженерным образцом процессора Altra Q80-30 (80C/80T, 2,8/3,0 ГГц, 32 Мбайт L3, TDP 210 Вт).

Обзор сервера GIGABYTE E252-P30

E252-P30 — это модель первой волны Altra-систем GIGABYTE, основанная на референсной односокетной платформе Mt. Snow. На базе этой платформы есть несколько вариантов систем, но в данном случае мы имеем дело с компактным edge-сервером в 2U-шасси малой глубины: 439 × 86 × 449 мм. Для удобства использования на переднюю панель выведены не только дисковая корзина на шесть SFF-накопителей SAS-3/SATA-3 с поддержкой горячей замены, но и IO-панель материнской платы, а также все слоты PCIe.

Разъёмов тут не так уж много: три USB 3.0, пара 1GbE-портов (Intel I350-AM2), один 1GbE-порт для BMC (ASPEED AST2500), VGA-выход и COM-порт. Тут же находится ID-индикатор, совмещённый с кнопкой, который продублирован на левом «ушке», где располагаются ещё и кнопки питания и сброса (тоже с индикацией), индикаторы активности накопителей и обоих сетевых интерфейсов, а также общего состояния системы. В общем, всё как обычно.

А вот такой богатый набор слотов PCIe 4.0 видеть в подобной системе уже непривычно. Их тут сразу шесть штук: пять x16 и один x8 — все для низкопрофильных карт. Впрочем, только два из них предоставляют x16-подключение, а остальные довольствуются восемью линиями. Тем не менее на самой плате есть ещё два x4-слота M.2 2210 и четыре SlimSAS-коннектора по x4 каждый.

Формально есть и мезонин OCP 2.0 (PCIe 3.0 x16), но он занят RAID-контроллером CRAO338 (LSI SAS3008) с поддержкой RAID 0/1/1E/10. Именно его в первую очередь лишились Arm-системы GIGABYTE второй волны. Также на плате есть колодка для модуля TPM 2.0 и, наконец, процессорный разъём с поддержкой 80-ядерных Ampere Altra, который окружён 16 слотами для модулей DIMM DDR4-3200.

Питается вся система от двух (1+1) БП FSP800-20FM мощностью 800 Вт каждый с сертификацией 80+ Platinum, а за охлаждение отвечают четыре высокооборотных вентилятора Nidec Ultraflo (80 × 80 × 38 мм). Все они находятся на задней панели и поддерживают горячую замену без использования инструментов. Сервер рассчитан на работу при температурах от +10 до +30 °С и относительной влажности от 8 до 80 % (без образования конденсата).

О платформе управления системой, как ни странно, рассказывать практически нечего — это совершенно обычный и стандартный AMI MegaRAC SP-X. Но… это на самом деле показатель очень большого прогресса в развитии серверных Arm-систем в целом. Привычные веб-интерфейс, iKVM, UEFI и настройки позволяют не только комфортно работать с ней, но и интегрировать её в системы управления ЦОД.

Смотреть все изображения (29)

Смотреть все
изображения (29)

Скриншоты сделаны до обновления прошивок

Смотреть все изображения (19)

Смотреть все
изображения (19)

Тут, конечно, стоит оговориться, что пока GIGABYTE довольно часто выпускает обновления прошивок, меняя что-то по мелочи то тут, то там и добавляя или удаляя какие-то возможности. Однако всё это не идёт ни в какое сравнение с тем, что было раньше. Никакой особенной подготовки уже не требуется — берёшь AArch64-образ популярного дистрибутива, спокойно загружаешься и устанавливаешь ОС и ПО.

Конфигурация

Собственно говоря, это и было сделано. На накопитель GIGABYTE Aorus (M.2, PCIe 4.0 x4) GP-AG4500GB с ext4 была установлена Ubuntu Server 21.10 (стандартное ядро Linux 5.13.0-20-generic), а на GP-AG41TB c xfs развёрнута тестовая среда Phoronix Test Suite 10.6.1. Настройки ФС оставлены по умолчанию, а в самой ОС только cpu_governor был переключён в performance, а автообновление было отключено. Важно отметить, что, хотя общая поддержка Arm-платформ в современных дистрибутивах есть, оптимизаций чаще всего ждать не стоит.

В частности, оказалось, что штатное ядро не до конца «знакомо» Ampere Altra и, например, в принципе не позволяет включить Boost, а сама Ampere предлагает патчи только для Linux 5.10. К счастью, в последнем обновлении BIOS (F18g) эта опция в настройках CPCC пропала в принципе, и наш процессор по умолчанию работал на частоте 3,0 ГГц. Режим LPI был оставлен, чтобы процессор мог уходить в «спячку».

Компанию CPU составили восемь (1DPC) 16-Гбайт модулей RDIMM DDR4-3200 (Samsung M393A2K43DB3-CWE). В настройках можно поделить память на один, два или четыре NUMA-домена, но для всех тестов использовался только один. В BIOS также есть любопытная опция X86 Emulator Mode, однако никакой внятной документации или хотя бы простого описания для неё нет. Оставим её изучение на будущее.

Бенчмарки

Популярные комплексные бенчмарки оказались не очень полезными. В Preview-версии Geekbench 5.4.3 в однопоточном тесте система набрала 885 баллов — ближайший к этому результат демонстрирует Intel Xeon Gold 6126. Увы, общий рейтинг для всех топовых систем сейчас начинается с отметки в 1775 баллов. В многопоточном тесте, где тестовый процессор набрал 47270 очков, картина обратная — в чартах CPU ближайший конкурент в лице пары AMD Ryzen Threadripper отстает примерно вдвое.

А вот в рейтинге всех систем в окрестностях встречаются, например, AMD Ryzen Threadripper PRO 3995WX (64C/128T, 4,31 ГГц) и EPYC 74F3 (2 × 24С/48T, 4,04 ГГц), но оба они отличаются высокой базовой частотой и почти полуторакратной разницей с Q80-30 в однопоточной производительности. Да и вообще продукции AMD в списке много. Со стороны Intel можно привести результаты решений с Xeon Platinum 8362 (2 × 32С/64T, 3,6 ГГц) или совсем уж специфичных систем в облаке (4 × 26С/52T, 2,7 ГГц) и с «живыми» Xeon Platinum 8268 (4 × 24С/48T, 3,9 ГГц).

Две последних системы и в однопоточном тесте ближе к Q80-30, но всё же задачи у них другие — вроде обслуживания SAP HANA. Тем не менее можно очень аккуратно сказать, что в данном бенчмарке изделие Ampere смотрится в многопоточных тестах как минимум интересно. PassMark Performance Test 10.1, конечно, своеобразно подсчитывает рейтинг, но и там видна просадка в однопоточном тесте — наш экземпляр набрал в нём 1331 MOps/sec, а в сумме получил 38289 баллов.

Поскольку синхронного теста с современными процессорами конкурентов сделать не удалось, для PTS были взяты результаты весеннего тестирования пар AMD EPYC 7763 и 7543 с Intel Xeon Platinum 8368 и 8260M. Да, сравнение выходит не совсем корректное, но для первичной оценки его хватит. Итоговый набор тестов сократился, так как ещё не все они доступны для Arm, а что-то просто уже не собирается штатным компилятором (GCC 11.2). Графики приведены без учёта результатов Intel oneDNN, поскольку этот пакет «заточен» в первую очередь под x86-64.

Впрочем, все другие потенциально проблемные результаты — вроде Kvazaar, который хорошо оптимизирован для AVX, или OpenSSL, где у Altra явный провал, — оставлены. Как и для любой новой платформы, вопрос всегда в наличии оптимизаций исходного кода, инструментов разработки и поставляемых в готовом виде бинарных файлов. В целом же в данном конкретном наборе бенчмарков и окружении Altra Q80-30 оказался, грубо говоря, в среднем на уровне двух Xeon 8260M (2 × 24C/48T, 2,4/3,9 ГГц, 35,75 Мбайт L3, TDP 165 Вт) прошлого поколения (Cascade Lake-SP).

Важность оптимизации хорошо видна на примере HPL 2.3, где коммерческие библиотеки Arm Performance Libraries позволяют поднять FP64-производительность теста на порядок, до 1,22 Тфлопс. Это примерно две трети от теоретического пика, так как каждое ядро может выполнять до 8 Флоп/такт, что в сумме даёт 1,92 Тфлопс. Для справки в таблице даны результаты для x86-64 — это пиковые значения, полученные с помощью рецептов от AMD и Intel и их же инструментария. В случае Ampere ничего этого не было, но даже без тюнинга в Stream 5.1 работа с памятью у Altra оказалась хороша.

В HPL же удалось добиться и максимального энергопотребления. И это очень интересно: 325 Вт на всю систему, из них 212 Вт пришлось на CPU, температура которого приблизилась к +70 °C. Без столь активного использования SIMD потребление процессора под нагрузкой колеблется в довольно широких пределах (обычно от 140 до 170 Вт), а в простое он требует и вовсе 24 Вт. Если учитывать описанные выше особенности управления питанием и частотой, это просто прекрасный результат на фоне x86-64.

Заключение

Ampere Altra стоит попробовать — они могут соперничать с современными x86-64 CPU! Конечно, не во всех типах нагрузки, что, впрочем, было ясно с самого начала. Наиболее предпочтительными для этих процессоров являются задачи с хорошим распараллеливанием, которым не нужны большие кеши в CPU или специфические расширения. Естественно, есть целый ряд ниш, где конкуренцию AMD и Intel они составить не могут. Это, например, приложения, оптимизированные для AVX(-512), — всё же два 128-бит SIMD-блока NEON на ядро даже при большом числе ядер и более высокой частоте не дадут тот же уровень производительности.

Пока закрыт и путь в целый ряд корпоративных ниш, полагающихся на VMware или Windows Server. Собственно говоря, уже сейчас можно сказать, что с самим «кремнием» дело обстоит хорошо, но вот до той огромной экосистемы оптимизированного прикладного и системного ПО для x86-64, которая была наработана за годы доминирования на рынке, пока далеко. И Ampere в одиночку вряд ли сможет что-то с этим сделать. Однако, как уже было неоднократно сказано, Ampere метит в первую очередь в рынок гиперскейлеров, которые делают всё сами, начиная чуть ли не с прошивок.

Поэтому никаких, даже предварительных выводов относительно примерного уровня совокупной стоимости владения (TCO) делать не стоит. Да, на старшую модель Q80-33 (80C/80T) установлена рекомендованная цена в $4 050, что вдвое меньше, чем у старших AMD EPYC 7763 (64C/128T, $7 890) или Intel Xeon Platinum 8380 (40C/80T, $8 099), но при больших закупках даётся очень существенная скидка. А если оба процессорных гранда обеспокоятся ростом конкурента, то возможностей для ценовых манёвров у них будет гораздо больше.

Не менее важный фактор, влияющий на TCO, — энергопотребление платформы в целом. На первый взгляд у Ampere Altra с этим всё просто замечательно. Однако из осторожности скажем, что этот фактор лучше изучать и сравнивать на конкретных нагрузках, поскольку, во-первых, на незнакомой ранее системе легче допустить ошибку в оптимизации вычислений, работе с памятью, ускорителями или периферией, а, во-вторых, показатели частот и TDP в характеристиках считывать надо иначе, чем в случае x86-64. Зато с точки зрения «обвеса» Altra с ними наравне — 128 линий PCIe 4.0 + 8 каналов DDR4-3200 (до 4 Тбайт суммарно).

Как опять-таки было сказано ранее, Altra могут быть интересны и для применения в edge-системах. Если говорить конкретно о сервере Gigabyte E252-P30, то система нам в целом понравилась. Но нельзя не отметить, что доработка прошивок для неё всё ещё активно ведётся, и это порой приносит немногочисленные, но заметные изменения, а сама система всё ещё не лишена некоторых мелких проблем. Увы, пока что нельзя говорить о большом разнообразии платформ от разных вендоров и, соответственно, о возможности выбора. Интересно, как выйдет с Baikal-S?

Редакция благодарит компанию 3Logic за предоставленное на тест оборудование. Системы GIGABYTE на базе Ampere Altra будут доступны для покупки у данного дистрибьютора ориентировочно в I квартале 2022 года.

Ушедший год в сравнении с 2020-м оказался более богатым на «железные» новинки, анонсы и сделки. Но не потому, что он стал каким-то особенно удачным, а потому, что позапрошлый год для всех был несколько шокирующим. Для тех, кто пропустил ключевые вехи серверного рынка, мы сделали подборку самых интересных новостей 2021-го в следующих категориях:

• CPU
• DPU
• Ускорители
• Накопители
• CXL и PCIe 5.0
• Память
• Интерконнект и сети
• Рынок

CPU

От грандов индустрии в ушедшем году было три ключевых новинки: AMD EPYC Milan, IBM Telum и Intel Xeon Ice Lake-SP. И если для AMD это было приятное, но всё же эволюционное обновление, то третье поколение Xeon Scalable в корне отличается от предыдущих. Intel достигла паритета с AMD по ряду параметров, отказалась от некоторых порочных практик, но по сумме «голых» характеристик всё ещё отстаёт, хотя и предлагает целый ряд уникальных функций, что помогает дистанцироваться от конкурента. Ну а в плане инноваций интереснее всего опять решения IBM — но на этот раз не POWER, а Telum, который относится к Z-семейству и ориентирован на специфичный рынок. Как и окончательно почивший Itanium.

В растущем стане Arm произошло несколько важных событий. В начале года Qualcomm поглотила Nuvia, так что единственным серьёзным игроком в серверном сегменте осталась Ampere, выпустившая процессоры Altra Max, которые уже обогнали EPYC и Xeon по числу ядер. Но больше всех удивила Amazon, представившая Graviton3. Да, это чип, созданный сугубо для нужд конкретного гипескейлера, но тут важно то, что Amazon теперь разве что только оперативную память не создаёт собственными силами. В ту же сторону, по слухам, движутся Google и Microsoft. Да и у Alibaba Cloud теперь тоже есть собственный Arm-процессор Yitian 710.

Amazon Graviton3. Фото: Ian Colle

Из прочей восточной экзотики никак нельзя обойти вниманием суперкомпьютеры экзафлопсного класса OceanLight и Tianhe-3, построенные Китаем на процессорах собственной разработки. В сторону импортозамещения поглядывает и Южная Корея. А Евросоюз даже успел получить первую тестовую партию RISC-V чипов EPAC 1.0, которые, впрочем, относятся скорее к ускорителям. 2021 год вообще был успешным для RISC-V — анонсировано много продуктов, появились сильные стартапы вроде Ventana или Rivos, а российской Yadro предложили ₽27,8 млрд на создание серверного CPU.

Что касается планов на 2022 год, то нас ждёт выход AMD EPYC Milan-X с 3D V-Cache, а также запуск сразу двух новых серий: Bergamo и Genoa. Конкуренцию им должны составить Intel Xeon Sapphire Rapids и уникальные Tachyum Prodigy. Ampere представит следующее поколение CPU с уже собственными Arm-ядрами Siryn, а SiPearl должна показать чипы Rhea. «Байкал Электроникс» налаживает серийное производство Baikal-S (и уже готовит Baikal-S2), а МЦСТ — Эльбрус-16С. В следующем году появятся и серверные Arm-процессоры NVIDIA Grace, но для компании гораздо более важны чипы другого класса.

DPU

DPU или, лучше сказать, IPU (Infrastructure Processing Unit) — всё ещё новый класс устройств, на который тем не менее возлагают большие надежды. От изначальной задачи по «кормлению» вычислителей напрямую с внешних СХД, которой, к примеру, всё ещё в большей степени придерживается Kalray, перешли к более общей идее разгрузки самих серверов от служебных задач. Дальше всех в этом продвинулась NVIDIA, которая готовит уже третье поколение Bluefield вместе с конвергентными ускорителями и, самое главное, выстраивает экосистему ПО.

Она и предлагает свои SDK, и сотрудничает, например, с VMware в рамках Project Monterey, в котором также участвуют Pensando и Intel. В ту же сторону смотрит Fungible, тоже, впрочем, не забывающая о СХД, и Nebulon. Но действительно крупным игроком в это секторе может стать Intel, анонсировавшая сразу три устройства IPU. Mount Evans, самое интересное из них, делается для Google. Не менее интересны Octeon от Marvell и Alveo SN1000 от Xilinx. В 2022-м мы наверняка увидим не только новые IPU, но и конечные продукты на их основе. Их уже можно встретить в HPC-системах и СХД, коммутаторах и брандмауэрах.

Ускорители

Из «больших» универсальных ускорителей можно вспомнить AMD Instinct MI200, который обещает быть самым быстрым сразу в нескольких категориях, а «на бумаге» в некоторых аспектах уже обогнал грядущие Intel X^e Ponte Vecchio. NVIDIA, что удивительно, в 2021 году представила только ряд «малых» ускорителей и просто невероятное количество различных программных решений, но анонса Hopper мы не дождались. На ниве FPGA наиболее высокую активность проявила, пожалуй, Xilinx.

Новичками на рынке ИИ-ускорителей стали китайские DTU от Enflame и Big Island от Zhaoxin. Google представила уже четвёртое поколение TPU, а AWS — свои первые чипы Trainium (в дополнение к Inferentia). Среди уже не самых молодых стартапов отметились Cerebras со своим кластером суперчипов WSE-2; Graphcore и Habana получили важные для себя заказы, а Groq запомнилась получением неплохих инвестиций, как и SambaNova. Рынок ИИ-ускорителей вообще очень горяч, и это далеко не все его новости.

В целом можно сказать, что сложилось довольно чёткое разделение — одни компании стараются создать решения для обучения всё более объёмных моделей, а другие метят в инференс-решения различного класса. Но действительно инновационных продуктов оказалось не так уж много. Так, Esperanto наконец довела до стадии производства ускорители ET-SoC-1, которые она сама называет суперкомпьютерами-на-чипе. Тысяча с лишним ядер RISC-V в одной SoC позволяют это делать. Ещё два стартапа — LightOn и Lightmatter — занимаются фотонными ускорителями. LightON в ушедшем году получила первый значимый заказ, Lightmatter — инвестиции.

Накопители

И здесь нас тоже поджидают ускорители. ScaleFlux представила чип SFX 300 и несколько продуктов на его основе, а Pliops — пока что только XDP Extreme. Оба решения снимают часть нагрузки с CPU и относятся скорее к классу так называемых вычислительных хранилищ (computational storage), которые увеличивают скорость работы ряда приложений (СУБД в первую очередь) и повышают срок службы SSD. Впрочем, этого же, пусть и с меньшей эффективностью, уже позволяют достичь более «традиционные» SSD с ZNS.

Тем не менее Samsung, оставаясь лидером рынка, продолжает экспериментировать со SmartSSD для более узких ниш — в 2021 году она представила концепт накопителя со встроенным ИИ-ускорителем вышеупомянутой Esperanto. Другой необычной новинкой стал SupremeRAID SR-1000 от Graid — разработчики сумели перенести часть нагрузки на самый обычный GPU начального уровня от NVIDIA. Естественно, работу с NVMe-oF он тоже ускоряет. Из прочей экзотики нельзя не упомянуть и EM6, SSD со встроенным 25GbE-контроллером, который Kioxia создавала не один год, а также EL6 на базе XL-FLASH (конкурент 3D XPoint).

Собственно, ни у кого уже нет сомнений, что ближайшее будущее за NVMe(-oF) и EDSFF (E1 и E3), а четвёртое поколение SAS, вероятно, станет последним. С выходом NVMe 2.0 наконец произошло разделение базовой спецификации, наборов команд, транспортного уровня и интерфейсов управления. Всё это открывает простор для расширения экосистемы NVMe. И нас ждут не только All-Flash СХД с NVMe/TCP и всё теми же computational storage и прочими специализированными накопителями, но и кое-что поинтереснее.

Как и ожидалось, Seagate представила первый прототип СХД на базе SAS-шасси, но с NVMe HDD, а также связкой из нескольких контроллеров и FPGA. Готовые продукты стоит ждать не раньше середины 2024 года, да и прочая обвязка пока не готова. Так, например, предполагается подключать несколько накопителей по цепочке, чтобы просто «насытить» шину. Со временем новый интерфейс пригодится и для двухактуаторных дисков, которые наконец должны пойти в серию в этом году. Правда, обольщаться особо не стоит — и эти накопители, и будущие NVMe HDD предназначены в первую очередь для гиперскейлеров.

«Обычные» жёсткие диски Seagate и Western Digital отметились взятием планки в 20 Тбайт. Но если у первой компании это просто развитие текущих серий, то у второй уже новая архитектура — OptiNAND. Она включает UFS-накопитель, но он используется не столько для кеширования, сколько для хранения служебных данных, которые ранее располагались непосредственно на пластинах. По словам разработчиков, это позволит создать более ёмкие HDD без использования SMR. Удивительно (и подозрительно?) вовремя появившаяся технология.

Источник: Coughlin Associates

По данным Coughlin Associates, в 2021 году поставки ёмких Nearline HDD выросли на 50 % (год к году), но в этом году прирост снизится до 20 %. В любом случае альтернатив для вторичных хранилищ всё равно сейчас нет, так что жёсткие диски останутся с нами ещё очень надолго. То же касается и ленточных накопителей для холодных данных — кстати, пусть и с некоторой задержкой, но на рынке появились первые решения LTO-9.

CXL и PCIe 5.0

CXL (Compute Express Link) неслучайно вынесен на первое место, поскольку шина PCIe 5.0, которую он использует, даёт лишь прирост скорости — для SSD, например. CXL же позволит на первом этапе разнести ресурсы, а впоследствии создать полностью дезагрегированные и компонуемые системы. И это уже практически новый стандарт будущего, так как консорциум CXL подписал меморандум с PCI-SIG и в конце года поглотил Gen-Z (всё равно 77 % членов у них и так совпадали). Наработки и концепции последней частично войдут в будущую спецификацию CXL 3.0.

Прототип сервера с CXL-памятью от Intel и Meta✴✴ (Facebook✴✴)

В сторону компонуемых решений уже давно двигаются GigaIO и LIQID, но наибольшую активность проявила Samsung. В прошлом году компания представила первую CXL-систему Poseidon V2, которая формально относится к СХД, но готова принять не только память и накопители, но и ускорители. Заодно компания анонсировала первый CXL-модуль DDR5 и SDK. Intel и Meta✴✴ (Facebook✴✴) пошли ещё дальше, показав рабочий прототип сервера с удалённой CXL-памятью. Подобные продукты начнут появляться уже в этом году.

Память

Следующее поколение серверов принесёт не только PCIe 5.0, но и DDR5. Переход на новый стандарт, как ожидается, приведёт к подорожанию платформ, но дело не в цене на саму память, а в удорожании плат — для поддержания целостности сигнала необходима более сложная разводка с большим числом слоёв. Избежать этого можно с помощью или CXL, заплатив за это скоростью и задержками, или OMI. Последний вариант уже сейчас использует IBM, но пока не похоже, что этот стандарт в скором времени станет массовым.

Источник: Coughlin Associates

Альтернативным типам памяти аналитики пророчат уверенный рост. Более того, ожидается, что к концу десятилетия Optane PMem по суммарному объёму поставок обгонит DRAM. Вопрос лишь в том, действительно ли готова Intel играть в долгую, оставаясь пока что единственными производителем 3D XPoint и неся убытки. И не появятся ли новые, более доступные разновидности SCM вроде ULTRARAM. Всё же DRAM только-только догнала PMem по ёмкости.

Из совсем уж альтернативных решений можно вспомнить PIM-модули AXDIMM от Samsung и XRAM от NeuroBlade. В обоих случаях разработчики поместили вычислительные ядра в непосредственной близости от RAM. У Samsung это ИИ-движки, а у NeuroBlade — ускорители для работы с СУБД и аналитикой. И в обоих случаях сделано это, надо полагать, потому, что сейчас разрыв в скорости обмена данными внутри устройств и между ними по-прежнему слишком велик. Более универсальным, но весьма необычным является FPGA-ускоритель Kestral c Optane PMem.

Интерконнект и сети

NVIDIA и Intel в 2021 году представили 400G-платформы: Quantum-2 и Tofino 3. Обе, что характерно, с продвинутой телеметрией и высоким уровнем программируемости. Полностью раскрыть свои возможности они смогут в связке с вышеупомянутыми Bluefield-3 и Mount Evans. В России разрабатывается 200G-решение «Ангара-2». Cornelis Networks пока что пользуется 100G-наследием Intel, но готова и далее развивать Omni-Path. А вот из-за Slingshot от Cray, если верить слухам, может задержаться ввод в строй Frontier. Наконец, на рынке появился необычный стартап Rockport Networks, который предлагает относительно скромное, но очень интересное решение с пассивным оптическим коммутатором.

NVIDIA Quantum-2

Среди других важных событий есть обновление SiliconOne от Cisco, а также появление FP5 от Nokia и чипов Engiant от H3C. В скором времени стоит ждать анонса Spectrum-4 от NVIDIA/Mellanox. В целом, как отмечается, крупные потребители вовсю переходят на 100/200GbE и засматриваются на 400GbE. Ethernet Alliance рад развитию этих стандартов и нацеливается на более высокоскоростные решения, которые, впрочем, в освоении будут непростыми — вся надежда на кремниевую фотонику.

Rockport Networks

Корпоративные беспроводные сети показали стабильный рост, хотя дефицит чипов всё-таки ударил по сегменту Wi-Fi 6, где за ушедший год, впрочем, никаких больших событий не было. Конкуренцию им, хотя и не во всех сферах, уже начали составлять частные сети 4G/5G. Любопытно, что слайсинг, на который операторы возлагали большие надежды, похоже, так толком и не прижился, и доминировать будут малые развёртывания, а также edge-решения.

Доля компаний в глобальном интернет-трафике. Источник: Sandvine

Хуже того, гиперскейлеры всё больше вторгаются в операторский бизнес. В случае сотовых сетей подход у «большой тройки» Amazon, Google и Microsoft несколько разнится, но все они так или иначе готовы или потеснить операторов в некоторых сегментах, или более плотно сотрудничать с ними. Кроме того, гиперскейлеры активно вкладываются в наземные и подводные магистрали, что неудивительно — в 2021 году впервые более половины глобального интернет-трафика пришлось именно на них.

Рынок

Одними из главных событий в этом году стали разделения: VMware получила независимость от Dell, Kyndryl покинула лоно IBM, а NAND-подразделение Intel превратилось в Solidigm под крылом SK Hynix. Покупка Arm пока зависла, и, вероятно, NVIDIA так и не удастся завершить сделку. А AMD чуть выбилась из графика в процессе поглощения Xilinx, но каких-то особых препятствий ему нет. Ушедший год также оказался довольно богатым на инвестиции и отложенные ранее IPO, в том числе посредством SPAC. Здесь выделим DataBricks, которую буквально заваливают деньгами.

Снова показали рост облака (даже в России), которые, как и все гиперскейлеры в целом, всё сильнее влияют на глобальный рынок. Во-первых, именно благодаря им будут расти поставки серверов как в краткосрочной, так и в долгосрочной перспективе. Они же быстро наращивают капитальные расходы и не только строят всё больше сверхкрупных ЦОД, но и увеличивают их мощность. При этом рынок ЦОД сам по себе второй год показывает рекордные результаты.

Во-вторых, уже есть Dell APEX, HPE Greenlake (не сказать, к слову, что тут какой-то невероятный успех), Lenovo TruScale, Cisco Plus и масса других похожих решений от крупных вендоров. Все так или иначе предлагают облачный подход, то есть оборудование, ПО и услуги предоставляются по модели "как сервис" и оплачиваются по факту потребления. Такие платформы позволяют не только разворачивать локальные облака, но и формировать гибридные и мультиоблачные инфраструктуры.

Заключение

Ушедший год для многих компаний стал годом переоценки своих возможностей в условиях глобальной пандемии и порождённого ею дефицита всего и вся. Отложенные до лучших времён проекты или начали наконец реализовываться, или были окончательно заброшены. Увы, всё это, похоже, привело к тому, что крупные компании только повысили свою значимость. «Горячими» направлениями развития по-прежнему остаются ИИ и машинная аналитика, а скоро к ним, видимо, добавятся метавселенные. Интересно, надолго ли? Первые два направления привели к значительным изменениям и продолжают влиять на корпоративный IT-сектор — рост числа и разнообразия различных ускорителей продолжается (квантовые вычислители попадают в эту же категорию), и 2022-й год обещает быть, как это принято говорить, непростым и очень интересным. Но станет ли нам от этого легче жить?

Чтобы ничего не пропустить в новом году, подпишитесь на нас в Twitter, Telegram, LinkedIn, Google News или Zen.

При построении и обслуживании инфраструктуры такого масштаба требуется учитывать массу параметров, среди которых даже самый незначительный на первый взгляд может кардинально повлиять на совокупную стоимость владения (Total Cost of Ownership, TCO), к минимизации которой стремятся все гиперскейлеры. Как происходит процесс выбора оборудования и почему решили попробовать систему жидкостного охлаждения (СЖО) в серверах, нам рассказал Станислав Закиров, директор по развитию инфраструктуры VK.

В случае VK — а это не только ВКонтакте, но и масса других сервисов, включая Одноклассники, Mail.RU, Ситимобил, Delivery Club и т. д. — подход к построению инфраструктуры значительно изменился за последние несколько лет. За выбор аппаратной платформы отвечает отдельная тестовая лаборатория, которая изучает массу «железа», в том числе ещё не вышедшего. Одним из важнейших параметров при выборе является производительность на ватт, поскольку этот параметр оказывает драматичное влияние на будущие операционные затраты и, следовательно, на оценку TCO.

Первичный отбор идёт с опорой на синтетические тесты, но затем кандидаты попадают в руки инженеров, которые смотрят как они справляются с реальными нагрузкой, данными и в реальном же окружении. С CPU снимается масса метрик, включая, например, уровень загрузки, время отклика, промахи кеша и т. д. Основное требование — чтобы новая система справлялась с задачами наиболее требовательных и крупных внутренних заказчиков максимально эффективно с точки зрения затрат на единицу полезной производительности.

Излишние для менее требовательных задач мощности всё равно до определённой степени утилизируются, в чём помогает переход к облачной модели (в частности, контейнеризации и виртуализации) и программно определяемым решениям вкупе с грамотной оркестрацией. Собственно говоря, на данном этапе развития VK подошла к логическому концу — все новые машины имеют унифицированную платформу с единственным вариантом процессора, на которой строятся и CPU-узлы, и GPU-узлы, и СХД.

Изображение: VK

Текущее поколение серверов базируется на двухсокетных платформах с Intel Xeon Platinum 8380 (40C/80T, 2,3/3,40 ГГц, L3-кеш 60 Мбайт, TDP 270 Вт). Проще говоря, используется самый старший процессор Intel на текущий момент. CPU теперь только один и платформа тоже одна. Закупаются они всё в больших объёмах, что значительно удобнее и выгоднее с точки зрения обслуживания и позволяет получить существенный выигрыш в цене. Настолько существенный, что даже использование двух-трёх платформ с отличающимися CPU и периферией в нынешних условиях и с текущими запросами VK оказывается в среднем дороже.

И это даже без учёта дополнительных факторов вроде дозакупки CPU и прочих компонентов в будущем, ведь чем больше используемый ассортимент, тем труднее это будет сделать. Но у каждого гиперскейлера своя, очень интересная математика. Можно посмотреть, к примеру, на дизайн OCP-серверов Meta✴✴ (Facebook✴✴), а ещё лучше — на новые платформы AWS, которая «достигла вершин». AWS использует преимущественно собственные ЦОД и активно переходит на платформу с собственными же CPU Graviton3. Что и приводит нас к вопросу об операционных расходах, а точнее о балансе между CAPEX и OPEX.

Изображение: VK

У VK сейчас всего два собственных дата-центра — в Москве и Санкт-Петербурге, а всё остальное приходится на арендованные площадки в других ЦОД, причём далеко не всегда самых новых. Это имеет свои последствия. Повышение плотности размещения вычислительных мощностей в рамках одного узла приводит к необходимости более сложных калькуляций для питания и охлаждения в рамках стойки и, далее, ЦОД. Так, для новой платформы было выбрано 2U-шасси просто потому, что в него можно поставить более крупные вентиляторы, снизив их скорость вращения и энергопотребление, которое быстро растет по мере увеличения нагрузки на «железо».

Собственно говоря, в современных платформах c парой CPU, у которых TDP приближается к 300 Вт (в пике ещё выше), и прочими компонентами (ещё до 200 Вт) на питание только вентиляторов может уходить ещё треть от уровня потребления самого «железа». При этом масштабировать питание с типовых для коммерческих ЦОД (с их фактической средней нагрузкой по мощности, грубо говоря, на уровне двух третей) 5-7 кВт на стойку можно ещё относительно просто. А вот охлаждение — далеко не всегда. И это мы ещё не говорили про системы с ускорителями, где только «кремний» съедает от 3 кВт.

Выход? Первый путь — резко снижать плотность размещения оборудования в стойках, что чаще всего невыгодно с точки зрения TCO и в своём ЦОД, и владельцам арендованных, особенно когда таковые расположены там, где стоимость земли является значительной статьёй расходов при построении дата-центра. Кроме того, это усложняет поддержание связности и повышает расходы на сетевую инфраструктуру. Второй — создавать собственные оптимизированные узлы и дата-центры, где уже можно экономить просто на масштабах развёртывания, как и делают крупные гиперскейлеры. Третий — повышать эффективность охлаждения. А вот как именно, вопрос отдельный.

Повышать выработку холода для традиционного воздушного охлаждения может быть накладно, да и склонить оператора ЦОД (своего или чужого, нового или старого) к установке, скажем, ещё пары-тройки чиллеров (а это не только лишнее место, но и электричество) не всегда возможно, а часто не реализуемо даже технически. Компромиссный вариант — это СЖО, у которых эффективность выше, но которые, если это не иммерсионные системы, можно относительно просто внедрить даже в уже имеющуюся инфраструктуру. Да, не всегда и не везде. Да, капитальные расходы будут несколько выше, чем у классического «воздуха», зато в перспективе потенциально можно значительно сэкономить на операционных.

Вообще говоря, для каждого отдельного случая надо делать отдельные расчёты, но если имеется возможность протестировать СЖО на существующих мощностях, а в планах есть дальнейшее расширение инфраструктуры, где без мощных систем с ускорителями уже никак не обойтись, то упускать такой шанс не стоит. Ровно такая ситуация сейчас у VK, которая, в частности, готовится к строительству третьего по счёту собственного ЦОД, который разместится в подмосковном Домодедово. Для изучения возможностей практического применения СЖО VK обратилась к компании РСК, которая создала систему «под ключ», компоненты собственной разработки: насосные блоки, систему распределения жидкости в стойке и водоблоки для CPU с TDP 270+ Вт.

В начале лета 2020 года тестовая система была развёрнута в московском дата-центре VK (далеко не самом новом) — две стойки с различными типами узлов на 30 кВт суммарно, на каждую из которых приходилось по 5 кВт на «воздух» и по 10 кВт на «воду». На коммутацию систем ушло полдня, причём СЖО была в минимальном варианте, т. е. без резервирования. Затем эти машины были включены в общий пул, и на них запущены (и до сих пор работают) обычные продуктовые нагрузки. Изучив особенности поведения и эксплуатации машин и СЖО, найдя и устранив все проблемные места, а также отладив весь программно-аппаратный стек, компания приняла решение расширить тестовый полигон — всего сейчас 60 машин в Москве и ещё 40 в Санкт-Петербурге.

Летом 2021 года в Москве появилось ещё несколько стоек с СЖО в серверах. В том числе два десятка GPU-узлов: те же два топовых CPU + восемь PCIe-ускорителей по 300 Вт каждый. При этом все горячие компоненты в таких узлах охлаждаются жидкостью. Сам контур пятикратно нарастил мощность и получил резервирование: для охлаждения жидкости установлены две градирни, а для создания циркуляции холодоносителя — два насосных блока. Причём насосные блоки РСК уникальны — это единственное решение, объединяющее насосы внутреннего и внешнего контуров в одном блоке вкупе с энергоэффективной схемой управления. Вся система охлаждения, включая градирни и насосы обоих контуров, потребляет пропорционально количеству установленных серверов с СЖО и реальной тепловой нагрузке.

После обновления инженерам тестовой лаборатории снова пришлось помучиться с отладкой всей этой системы на разных уровнях. Начиная с того, что перевод GPU на СЖО намного сложнее, чем CPU, и заканчивая созданием развитой системы мониторинга, которая позволила понять, почему в синтетических тестах всё было хорошо, а под реальными нагрузками возникали проблемы. Это важно, поскольку ускорители участвуют в распределённом машинном обучении, и потеря даже одного из них неприятна.

Заодно было подтверждено, что с ростом масштаба внедрения СЖО становятся всё более и более выгодным решением — каждый киловатт в новой тестовой 100-кВт системе с резервированием обходится значительно дешевле, чем в старой 20-кВт без него. И узел с исключительно воздушным охлаждением, согласно тестам, по факту потребляет не меньше, чем с СЖО (включая и внутренние, и внешние компоненты), а масштабировать только «воздух» значительно дороже.

Такой гибридный подход с отбором тепла с помощью СЖО от удельно наиболее горячих компонентов (на них в среднем приходится 85% по питанию и, соответственно, охлаждению в конкретной системе) позволяет, например, намного проще перейти уже на фрикулинг (в том числе с адиабатикой). Итоговый коэффициент PUE составляет примерно 1,1 против традиционных 1,35–1,5. Поэтому даже если CAPEX для СЖО выше, CAPEX для дата-центра целиком (особенно с учётом IT-компонентов) может быть ниже, а экономия на OPEX на периоде от 3–5 лет и вовсе позволяет полностью окупить повышенные капитальные затраты.

А само по себе снижение удельного пикового энергопотребления позволяет меньше потратить на закупку гарантированных мощностей, ИБП и генераторов. Кроме того, есть и целый ряд дополнительных факторов в капитальных затратах. Например, для «воды» — это как минимум вся «сантехника», дооборудование узлов и стоек и т. д. В случае только «воздуха» это весьма дорогие радиаторы и вентиляторы для высоких уровней TDP и более низкая плотность размещения оборудования в стойках.

В случае VK расчёты показывают, что внедрение СЖО оказывается эффективным по ключевым параметрам решением. Это не значит, что у всех остальных будет точно так же. Даже нынешнюю платформу можно достаточно комфортно использовать в старых ЦОД. Но у VK уже есть планы на следующее поколение «железа», у которого TDP растёт (CPU 300+ Вт, GPU 500+ Вт), а вот критическая температура падает. И к его появлению надо готовиться уже сейчас, причем переход на СЖО для них будет ещё более эффективным, чем в нынешнем поколении.

А возможность использования именно нужного (и топового) оборудования важна для развития бизнеса в целом. Как оно получится на самом деле, сейчас никто не готов сказать. Пока что в планах оснастить СЖО часть будущего ЦОД, получив опыт действительно массового развёртывания и эксплуатации узлов с «водой», а также остальной инфраструктуры — например, про СХД и сеть тоже нельзя забывать. Главное, что страха перед использованием СЖО в ЦОД уже нет. Есть понимание слабых мест и единых точек отказа, есть понимание, как решать проблемы.

Итак, SC21 завершилась, шум вокруг «неофициально» появившихся экзафлопсных суперкомпьютеров поутих, а работа китайских учёных, выполненная на одном из них, получила премию Гордона Белла за развенчание мифа о квантовом превосходстве Google Sycamore (в которое, впрочем, еще в момент анонса пару лет назад поверили не все). Заявку на включение в TOP500 Китай в этот раз подавать не стал, а потому и подробностей о новых системах почти нет. Хотя это в целом не такая уж необычная практика — можно вспомнить многострадальный проект Blue Waters.

OceanLight

Кое-что о суперкомпьютере SunWay (ShenWei) OceanLight узнать все-таки можно, так как было опубликовано сразу несколько научных статей, в которых даны отдельные кусочки информации. За их достоверность, впрочем, поручиться нельзя. Кроме того, кое-какие материалы были выложены ещё весной, когда начался ввод этой машины в эксплуатацию. В некоторых аспектах она повторяет TaihuLight, самую мощную систему предыдущего поколения, некогда лидера TOP500.

OceanLight состоит из отдельных блоков (суперузлов), которые содержат по 256 узлов, объединённых между собой быстрой pan-tree-фабрикой. Сетевой адаптер (NIC) каждого узла имеет два интерфейса PCIe 4.0 x16 и предоставляет четыре 56-Гбит/с линии. Агрегированная пропускная способность фабрики превышает 1000 Тбайт/с в дуплексе при задержке менее 1,5 мкс, а число переходов от одного узла к другому внутри сети не превышает шести. СХД, о которой, увы, нет практически никакой информации, тоже включена в сетевую фабрику системы.

Каждый узел содержит локальные SSD, 96 Гбайт DDR4 и один CPU ShenWei SW26010-Pro (SW26010P). Это 64-бит RISC-процессор, который развивает идеи модели SW26010 и поддерживает тот же фирменный набор инструкций SW64. Сам процессор состоит из шести групп ядер, объединённых mesh-сетью (тор), к которой подключаются и NIC. Каждая группа ядер включает собственный контроллер памяти (по 16 Гбайт на группу), одно управляющее ядро (MPE) и кластер из 64 вычислительных ядер (CPE).

CPE организованы в виде mesh-кластера из 8 × 8 ядер (внутри они объединены в группы 4 × 4) и работают на частоте 2,25 ГГц. Каждое ядро имеет 32 Кбайт L1i-кеша и 256 Кбайт общей LDM-памяти, из которой опционально можно выделить блок 32 или 128 Кбайт для использования в качестве L1d-кеша. CPE сам определяет, какая конфигурация будет оптимальной. Для обмена данными между ядрами CPE-кластера используется RMA-интерфейс с пропускной способностью до 460 Гбайт/с.

Между основной DRAM и LDM организован DMA-обмен с пиковой скоростью 307,2 Гбайт/с. Заявленный уровень задержки доступа CPE к основной памяти составляет менее 0,2 мкс. Ядро MPE, в отличие от CPE, имеет чуть более расширенный набор инструкций, работает на частоте 2,1 ГГц и доступно не только из пользовательского пространства. Впрочем, оба типа ядер имеют 256- и 512-бит SIMD-блоки. Есть поддержка FP64/FP32/FP16, а также целочисленных вычислений.

Пиковая теоретическая FP64-производительность SW26010P составляет 14,026 Тфлопс, а FP16 — 55,296 Тфлопс. Для CPU разработан собственный компилятор с поддержкой C/C++ и Fortran, а также OpenMP, MPI 3.1, OpenCL, OpenACC 2.0 и ряд адаптированных библиотек. Впрочем, разработчики утверждают, что для портирования ПО достаточно изменить порядка 1% кода. И при правильном подходе производительность с увеличением числа ядер (упомянуто до 42 млн) может расти практически линейно. Но тут всё нет так однозначно.

ATIP со ссылкой на свои (неофициальные) источники говорит, что на системе был запущен HPL, который показал 1,05 Эфлопс (по умолчанию в случае Linpack речь идёт о FP64). Пиковая заявленная производительность без конкретизации точности вычислений составляет 1,3 Эфлопс. В научных работах также приводятся такие цифры для конфигурации из 107 520 узлов и 41 932 800 ядер: 1,2 Эфлопс (FP32), 4,4 Эфлопс (смешанная точность, FP16) и 468,5 Пфлопс (FP64). Но! Это всё показатели для конкретных задач, исследуемых в рамках работ, и сравнивать их с результатами HPL других систем смысла нет.

Однако есть и ещё одна цифра — для более комплексного бенчмарка HPCG учёным удалось добиться устоявшейся производительности в 5,91 Пфлопс при соблюдении всех правил. Если же добавить некоторые оптимизации, то можно добиться уже 27,6 Пфлопс. Для сравнения: Fugaku, лидер TOP500, сейчас набирает в HPCG 14 Пфлопс, а в HPL 442 Пфлопс. Японская система потребляет 29,9 МВт, а для OceanLight приводится цифра в 35 МВт ±10%. Так что о высокой энергоэффективности обеих систем речи нет.

Tianhe-3

Постройка второй экзафлопсной системы, условно называемой Tianhe-3, по данным ATIP, практически завершилась в октябре, и у неё есть перспективы дальнейшего расширения. Опять-таки неофициально сообщается о полном предварительном прогоне HPL, который показал устоявшуюся FP64-производительность на уровне более 1,3 Эфлопс (вот тут ATIP говорит уже о FP64), а пиковую — более 1,7 Эфлопс. И тут нам снова помогут публикации китайских учёных, в которых рассказывается о тестовом варианте системы.

Первый прототип включал 512 узлов, 96 608 ядер, 98,3 Тбайт RAM и хранилище на 1,4 Пбайт. Пиковая теоретическая производительность составляла 3,15 Пфлопс, но в HPL удалось получить 2,47 Пфлопс (по умолчанию считается, что это FP64). Суперкомпьютер полагается в первую очередь на ускорители Matrix2000+, которые сами разработчики всё же называют CPU. Каждый узел содержит три таких ускорителя, работающих на частоте 2 ГГц.

Matrix2000+ содержит 128 ядер, которые собраны в четыре независимых суперузла, объединённых быстрым внутренним интерконнектом. Суперузел, в свою очередь, включает четыре блока, каждый из которых состоит из восьми ядер, имеющих общий кеш с поддержкой когерентности. За обмен данными между ядрами отвечает отдельный движок. Ядра имеют конвейер переменной длины (от 8 до 12 стадий) и способны выполнить восемь FP64-операций за такт. Таким образом, пиковая производительность одного CPU составляет 2,048 Тфлопс.

Архитектура ядер — RISC (без уточнения семейства) с дополнительными векторными инструкциями и отсутствием поддержки внеочередного исполнения. Интересной особенностью является поддержка векторов переменной длины, от 128 до 1024 бит, на уровне суперузла (возможно, и ядра), что напоминает Arm SVE (Fujitsu A64FX в Fugaku, к примеру, поддерживают SVE-512). Сам CPU имеет восемь контроллеров памяти DDR4-2400, что даёт каждому узлу до 768 Гбайт DRAM с суммарной пропускной способностью 614,4 Гбайт/с. Также имеется контроллер PCIe 3.0, который нужен, в частности, для сети.

Интерконнект здесь тоже интересный и тоже собственной разработки. Он использует два вида ASIC — для подключения (HFI-E) и для маршрутизации (HFR-I) — и реализует механизм MP/RDMA (Mini Packet/Remote Direct Memory Access), а также аппаратную разгрузку. HFI-E используют подключения PCIe 3.0 x16 и предоставляют 200-Гбит/c порты (восемь SerDes-блоков 25 Гбит/с). HFR-I имеет 24 200-Гбит/с порта и суммарную пропускную способность 9,6 Тбит/с, а для передачи MPI заявлена задержка 1,1 мкс.

Плата с тремя чипами Matrix-2000+ (Фото: NUDT)

Сетевая фабрика (двумерное дерево) использует активные оптические соединения и способна масштабироваться до 150 тыс. узлов. Более того, разработчики утверждают, что они добились и самой высокой в мире плотности размещения — 864 оптических порта в одном шасси. Фабрика поддерживает автономное управление ресурсами и планирование, функции изоляции и самовосстановления, да и в целом является программно определяемой.

Для разработки ПО предлагается использовать компилятор MOCL для C/C++/Fortran с поддержкой OpenMP 4.5 и OpenCL 1.2. Ожидается, что система Tianhe-3 со временем будет доступна зарубежным пользователям — в отличие от OceanLight, которая в большей степени ориентирована на внутренние нужды Китая. В нынешний TOP500 Tianhe-3 вряд ли бы успела попасть в силу затянувшихся из-за пандемии сроков постройки, но есть шанс, что летом 2022 года она всё же будет включена в рейтинг.

Описываемая архитектура отличается от той, что предполагалась ранее. На данный момент ничего не говорится об «обычных» CPU. Это должны быть наследники FT-2000+/64: ARMv8, 7 нм, 64 ядра, PCIe 4.0, DDR4, 2+ Тфлопс и поддержка FP16. Вероятно, именно их TSMC перестала производить весной этого года под давлением США. Ускоритель тоже должен быть другой, Matrix-3000: 96+ ядер, 10+ Тфлопс, HBM2 и PCIe 4.0. Текущее состояние этих чипов, а также наличие их в Tianhe-3 неизвестно.

Планы Китая

Третья экзафлопсная система, ранее известная как Shuguang, должна была бы иметь «честную» производительность уже в 2 Эфлопс. Однако её запуск пока что перенесён на 2022 год, и проект находится в подвешенном состоянии. Дело в том, что изначальный подрядчик — компания Sugon — уже неоднократно попадал под санкции США, а имеющиеся у него технологии не позволяют самостоятельно создать эффективную машину такого класса. В активе Sugon остались процессоры Hygon Dhyana, клоны первого поколения EPYC, с которыми она без поддержки AMD вряд ли что-либо сможет сделать.

Ранее компания грозилась каким-то образом перевести их на 7-нм техпроцесс Samsung или TSMC. Так что либо Sugon удастся каким-то чудом построить систему нужного класса, либо компания будет заменена другим подрядчиком, менее «токсичным» и способным получить современные западные компоненты. Есть и третий вариант — поскольку Sugon разрабатывала собственные ускорители DCU с обещанной производительностью до 15 Тфлопс, возможно, хватит и имеющихся Hygon для постройки машины.

Однако всё это лишь часть общей картины. По данным ATIP, сейчас у Китая есть восемь крупных национальных суперкомпьютерных центров, два из которых появились в 2020 году. Ещё два появятся в ближайшее время. И уже введено в строй или готовится к этому несколько суперкомпьютеров производительностью от 100 до 500 Пфлопс (тут как раз лидер Sugon), которые могли бы изрядно поменять расклад сил в первой десятке TOP500. Более того, к 2025 году Китай планирует получить сразу две 10-Эфлопс системы.

Мировой ландшафт

Согласно данным Hyperion Research, в следующем году заработает первая — во всяком случае, первая публичная — экзафлопсная система Frontier с ожидаемой пиковой производительностью 1,5 Эфлопс и потреблением порядка 29 МВт. Полностью доступна она будет в III квартале 2022 года. Примерно тогда же должна начать работу Aurora с устоявшейся производительностью более 1 Эфлопс. У площадки неожиданно высокий уровень энергопотребления — 60 МВт. Если вся эта мощь уйдёт только на машину, то энергоэффективность её вызовет большие вопросы.

И тогда же должен появиться суперкомпьютер El Capitan с ожидаемой производительностью 2 Эфлопс. Но фактически две последние системы будут окончательно введены в эксплуатацию только в 2023 году. В планах на ближайшие пару лет есть ещё несколько систем средних размеров. А в 2026-м систем экзафлопсного класса должно быть уже около десятка. Примерно столько же, как ожидается, будет и у Китая.

Япония пока что полностью удовлетворена работой Fugaku и следующую большую систему хочет получить только в 2025 году, а до этого введёт в строй ещё пару машин поменьше. Великобритания после выхода из Евросоюза и последовавшего «отлучения» от ряда проектов оказалась в несколько затруднительном положении и готовится запустить только одну экзафлопсную машину в начале 2024 года. Подробностей о ней пока не известно.

Проект Евросоюза EuroHPC в очередной раз натолкнулся на разногласия между участниками, так что первая крупная система, MareNostrum 5, несколько задержится. Всего же планируется построить три суперкомпьютера мощностью 150-200 Пфлопс в Испании, Италии и Финляндии. Также в скором времени должна заработать 550-Пфлопс система LUMI. В остальном мире первые экзафлопсные машины должны появиться после 2023 года, но их будет совсем немного.

Заключение

Некоторое удивление вызвал даже не сам факт появления у Китая столь мощных систем, а то, что обе машины базируются на чипах собственной разработки, которые оказались, если верить результатам китайских учёных, не так уж и плохи в сравнении с американскими решениями и способны показать возможности не только исключительно экстенсивного наращивания производительности. По крайней мере, на текущий момент это так. Впрочем, в любом случае это системы нового поколения, как и Fugaku. При этом надо понимать, что возникли они не из ниоткуда — о планах было заявлено почти 10 лет назад, а ранние прототипы появились в 2018-2019 гг.

В этом отличие, например, от Европы, где только в последние годы громко заговорили о необходимости технологической независимости — насколько такая независимость вообще возможна при нынешнем уровне глобализации. Европейские производители разрабатывают собственные HPC-чипы (Arm, RISC-V и Tachyum), но готовы комбинировать их и с другими решениями. Аналогичные проекты есть у Индии и Южной Кореи. А у Японии (помимо A64FX) есть и всякая экзотика вроде PEZY-SC или MN. В России же из заметных проектов можно, наверное, выделить «Эльбрус-16С»/«Эльбрус-32С» и будущие Baikal.

Платформа

HPE ProLiant DL160 Gen10 — это довольно универсальная платформа, подходящая и для сугубо локального развёртывания, и для формирования инфраструктуры гибридного облака. Всё зависит от конфигурации, которая в данном случае настраивается в довольно широких пределах. Сервер располагает двумя гнездами для процессоров Intel Xeon Scalable первого и второго поколений — от Bronze до Platinum, c TDP не более 150 Вт. Система может работать с одним или двумя (естественно, одинаковыми) CPU.

На каждый сокет приходится по 8 слотов для оперативной памяти (L)RDIMM DDR4-2400/2666/2933 ECC — при установке 64-Гбайт модулей во все 16 слотов можно суммарно получить 1 Тбайт RAM. Скорость памяти будет зависеть от модели CPU и числа модулей: так как каналов у процессоров шесть, а слотов восемь, при максимальном заполнении два канала у каждого процессора будут иметь конфигурацию 2DPC.

От количества CPU зависит число доступных PCIe-слотов. С одним процессором будут доступны два слота PCIe 3.0 в двух различных конфигурациях. Можно использовать либо стандартный райзер, который даёт один x16-слот для FHHL-карт и один x8-слот для низкопрофильных адаптеров, или же райзер, дающий два x8-слота: для FlexibleLOM-адаптера + любой другой низкопрофильной карты расширения. Второй процессор позволяет задействовать третий x16-слот, опять же для какого-нибудь низкопрофильного адаптера.

Несмотря на компактность — 1U-шасси глубиной 61,5 см, — сервер предлагает гибкие возможности конфигурирования. На задней панели есть два 1GbE-порта RJ-45, выделенный 1GbE-порт для iLO, видеовыход VGA и пара портов USB 3.0. Если, допустим, стандартных сетевых возможностей мало, то можно поставить не только обычный или FlexibleLOM-адаптер (1/10/25/100GbE, InfiniBand EDR или Omni-Path), но и отдельный Media-модуль на два порта 1/10GbE, который не будет занимать PCIe-слот.

C RAID похожая ситуация. В стандартную поставку входит программный контроллер Smart Array S100i SR (только SATA), но на плате есть и отдельный слот под другие варианты Smart Array, которые представлены в ассортименте, а также отсек для BBU. Никуда не делась и давняя «фишка» серверов HPE — наличие на плате внутреннего порта USB 3.0 и картридера microSD. Для подключения дисковой корзины есть три порта Mini-SAS, а пара портов SATA-3 пригодится для опционального PCIe-адаптера для двух M.2 SSD.

Дисковая корзина с поддержкой горячей замены накопителей представлена двумя вариантами: либо на 4 LFF (3,5”), с опциональным DVD-приводом, либо на 8 SFF (2,5”), с оптическим приводом, на место которого можно поставить ещё один блок для пары SFF, получив таким образом до 10 накопителей в 1U. HPE предлагает массу вариантов накопителей SAS-3/SATA-3 — как SSD, так и HDD, ориентированных на различные типы нагрузки. Суммарная ёмкость дисковой корзины может достигать 76,8 Тбайт.

За охлаждение сервера отвечают высокооборотные (до 27 тыс. RPM) быстросъёмные вентиляторы 40 × 28 мм. Три — в случае одного установленного процессора, шесть — в случае двух. Также можно установить ещё один запасной вентилятор, четвёртый или седьмой по счёту соответственно. Питается система от одного или двух (с поддержкой горячей замены) БП класса 80+ Platinum или Titanium мощностью 500 или 800 Вт, которые отдают 12 В. Доступен также БП с поддержкой ввода 48 В DC. БП оснащены индивидуальными вентиляторами и индикаторами состояния.

На переднюю панель выведены порт USB 3.0, USB-порт для iLO, блок с кнопками и индикаторами. Также тут есть выдвигающийся «язычок» с информацией о модели сервера и серийным номером. Из не упомянутых ранее особенностей отметим наличие поддержки TPM-модуля, возможность установки датчика вскрытия и вывода на заднюю панель последовательного порта, а также использование чипсета серии Intel C622, который и отвечает за практически доступные порты. В комплекте с сервером поставляются металлические рельсы, рассчитанные на стойки глубиной от 60 до 90 см и позволяющие полностью его выдвинуть.

Инструменты для работы с сервером не нужны, хотя кое-где для надёжности есть дополнительные винтовые крепления. Неиспользованные посадочные места (для накопителей, вентиляторов, БП) закрыты быстросъёмными заглушками, крышка (со схемой и краткой инструкцией на внутренней стороне) фиксируется пластиковой защелкой, накопители поставляются уже установленными в лотки, у блоков питания есть свои ручки и фиксаторы, даже карты расширения и рельсы для крепления в стойке можно установить, не используя отвёртки.

HPE ProLiant DL160 Gen10