Arm AGI почти вдвое превзошёл AMD EPYC на Zen 5 по производительности на стойку — по тестам самой Arm

Arm заявила, что её центральные процессоры AGI для ИИ ЦОД превосходят AMD EPYC 9755 по производительности в расчёте на одну стойку в два раза. Об этом свидетельствуют результаты моделирования работы серверной стойки с учётом характеристик чипов и энергопотребления серверов при выполнении семи типов рабочих нагрузок. Методика оценки была разработана Arm при поддержке Fujitsu, Meta✴ и OpenAI.

Результаты были подтверждены компанией Signal65 в ходе независимого анализа по заказу Arm. Однако это не означает, что данный чип является лидером в сфере ИИ-агентов: использовалась собственная методика Arm, поэтому выводы справедливы лишь для конкретных моделей процессоров, сценариев нагрузки и конфигураций оборудования, отметил ресурс Tom's Hardware.

Предложенная компанией Arm методология оценки производительности CPU основывается на использовании репрезентативных рабочих нагрузок для ИИ-агентов, воспроизводимых измерениях характеристик процессора и проверке результатов при выполнении комплексных задач. Методология предполагает выявление инструментов и сервисов, задействованных агентом, измерение их производительности (нагрузки на CPU) в контролируемых условиях, а также проверку того, способствуют ли внесённые улучшения успешному выполнению поставленной перед агентом задачи. Например, в ходе тестирования базы данных можно определить, насколько быстро система обрабатывает транзакции. Затем в рамках комплексной оценки анализируется, приводит ли ускорение доступа к базе данных к реальному повышению эффективности рабочего процесса, зависящего от неё.

Поскольку агент может выбирать разные команды или следовать разным маршрутам выполнения задачи при каждом запуске, Arm предлагает воспроизводить записанные действия агента, чтобы отделить производительность CPU от влияния этих факторов.

Для оценки производительности процессора методика предусматривает семь рабочих нагрузок: MySQL, NGINX, Milvus, SWE-bench replay, fastText, vLLM CPU overhead и Sandbench. Они охватывают инструменты, рабочие процессы агентов, рассуждения и планирование. Sandbench измеряет накладные расходы на создание песочницы для выполнения задач агента на процессорах Arm AGI и AMD EPYC 9755.

Для проведения тестов компания Arm использовала две конфигурации процессора AGI: 128-ядерный чип с тактовой частотой 2,8 ГГц и памятью DDR5-7200 (для Terminal-Bench 2 и SWE-bench) и 136-ядерный чип с частотой 3,2 ГГц и памятью DDR5-8000 (для остальных пяти сценариев нагрузки). В качестве аналога от AMD был выбран 128-ядерный процессор EPYC 9755, установленный в односокетную систему с памятью DDR5-6400. Обе платформы тестировались в одних и тех же сценариях, но с использованием разных программных сред.

На уровне отдельных процессоров Arm AGI продемонстрировал превосходство над AMD EPYC 9755 в пяти из семи тестов. Он оказался быстрее на 9 % в Terminal-Bench, на 13 % в SWE-bench и на 97 % в fastText, однако уступил 12 % в MySQL и 5 % в Milvus по показателю пропускной способности.

На уровне стойки моделируемая производительность решений Arm в среднем в 1,99 раза превысила показатель AMD, причём преимущество наблюдалось во всех семи сценариях нагрузки.

Сообщается, что специалисты Signal65 удалённо наблюдали за ходом тестирования Arm, а также изучили исходные логи, файлы с результатами, скрипты и записи о конфигурации систем. Они повторно выполнили расчёты с использованием собственного программного кода и воспроизвели все семь результатов с погрешностью не более 0,5 %. При этом Signal65 не проводила повторных испытаний на собственном аппаратном обеспечении в своей лаборатории.