MWC 2018
2018
Computex
IFA 2018
Первое практическое тестирование платформы Intel Arc Pro B60 Battlematrix, опубликованное порталом Storage Review, демонстрирует плотную локальную систему ИИ, построенную на базе четырёх двухчиповых профессиональных видеокарт Arc Pro B60.
Источник изображения: VideoCardz
Каждая карта в составе системы оснащена 48 Гбайт видеопамяти GDDR6 (по 24 Гбайт на каждый GPU). Таким образом, общий объём VRAM составляет 192 Гбайт, что идеально подходит для сценариев локальной работы с большими языковыми моделями, которые позволяют избежать издержек, связанных с облачными вычислениями, а также проблем с обменом данными.
Источник изображения здесь и ниже: Storage Review
Intel установила цену на одночиповую Arc Pro B60 около $600, поэтому двухчиповая версия с 48 Гбайт памяти стоит около $1200. При таком объёме видеопамяти профессиональный ускоритель от Intel значительно дешевле (как минимум вдвое) большинства профессиональных GPU с аналогичным объёмом памяти от других производителей.
Видеокарты Arc Pro B60 не предназначены для игр. А двухчиповая Arc Pro B60 — не совсем двухчиповая в том привычном смысле, какой была, например, игровая GeForce GTX 690 от Nvidia в своё время. Компания Maxsun, партнёр Intel, предоставивший карты для тестирования, уже объяснила, что Arc Pro B60 с двумя GPU — это две видеокарты в составе одной печатной платы, использующие один слот PCIe благодаря бифуркации (разделению линий). По сути, два графических процессора делят одну плату и один слот, но для операционной системы это две отдельные видеокарты. Таким образом, система вместо четырёх карт видит восемь Arc Pro B60, где у каждой имеется 24 Гбайт видеопамяти.
Для многих языковых моделей эффективность связана с количеством используемых графических ускорителей. И чем их меньше, тем лучше. Небольшие языковые модели можно разместить в составе стека памяти VRAM одного ускорителя. Однако физические ограничения доступного объёма памяти приводят к необходимости использования большего числа ускорителей, особенно в случае очень больших языковых моделей. Это, в свою очередь, накладывает определённые ограничения, связанные с технологиями межсоединений — повышается задержка в распределении данных. Конфигурация из восьми графических процессоров становится целесообразной, когда вы повышаете уровень параллелизма и объёмы пакетов данных, где пропускная способность имеет большее значение. Однако программное обеспечение, необходимое для такой обработки, пока находится на ранней стадии разработки. Только модели GPT-OSS на основе MXFP4 работали должным образом с низкоточными путями, в то время как такие форматы, как стандартные INT4, FP8 и AWQ, отказывались запускаться, поэтому многим плотным моделям пришлось работать в формате BF16.
«Для всех протестированных моделей прослеживается общая закономерность: при небольших размерах пакета с нашей конфигурацией с 256 токенами ввода/вывода использование минимального количества графических процессоров, необходимого для размещения модели, обеспечивает лучшую производительность на пользователя, чем распределение по всем восьми графическим процессорам. Издержки взаимодействия между графическими процессорами через PCIe, даже на скоростях PCIe 5.0, приводят к задержке, превышающей преимущества распараллеливания в однопользовательских или низкоконкурентных сценариях», — пишет Storage Review.
Физически двухчиповые Arc Pro B60 крупнее одночиповых. Они длиннее, оснащены двухслотовым кулером и потребляют до 400 Вт через один разъём 12V-2×6. Из-за большей длины видеокарты могут возникнуть сложности при её установке в некоторые стандартные Tower-корпуса. В моделях корпусов серверного уровня эти карты помещаются без проблем.
В тестах, проведённых Storage Review, использовались ранние версии драйверов, предварительная сборка LLM Scaler и система AMD EPYC вместо процессоров Intel Xeon 6, с которыми должны поставляться решения Battlematrix, поэтому все предоставленные данные указаны как предварительные. Intel анонсировала ИИ-системы Battlematrix ещё в мае, но обозреватель ожидает, что аппаратно-программное обеспечение станет полностью готовым только к 2026 году.
Источники:
