Сегодня 21 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Phison придумала, как с помощью SSD в шесть раз удешевить обучение больших языковых моделей

Phison продемонстрировала на мероприятии Nvidia GTC 2024 рабочую станцию с четырьмя графическими процессорами, производительности которой хватило для обучения модели искусственного интеллекта с 70 млрд параметров. Это стало возможным за счёт задействования ресурсов SSD и системной DRAM, передаёт Tom’s Hardware. В обычных условиях эта задача требует шести серверов с 24 ускорителями Nvidia H100 и 1,4 Тбайт видеопамяти.

 Источник изображения: phison.com

Источник изображения: phison.com

Платформа Phison aiDaptiv+ помогает снижать барьеры для обучения больших языковых моделей ИИ за счёт использования системной памяти и твердотельных накопителей для увеличения объёма доступной графическим процессорам памяти. Это решение позволит компаниям снизить затраты на обучение ИИ и избежать дефицита графических процессоров, который угрожает отрасли. Производительность такой системы, конечно, уступает дорогим серверным решениям, но открывает возможности представителям малого и среднего бизнеса запускать передовые модели локально, обеспечивая конфиденциальность данных, если затраты времени на обучение не являются критичными.

 Источник изображения: phison.com

Источник изображения: phison.com

Для демонстрации использовалась рабочая станция Maingear Pro AI с процессором Intel Xeon W7-3445X, 512 Гбайт памяти DDR5-5600 и двумя специализированными твердотельными накопителями Phison aiDaptiveCache ai100E формата M.2 по 2 Тбайт, специально предназначенными для кеширования рабочих нагрузок. Эти диски на основе чипов SLC рассчитаны на 100 циклов перезаписи в день в течение пяти лет. Программное решение Phison aiDaptiv+ «отрезает» слои ИИ-модели от видеопамяти, которые активно не обрабатываются, и отправляет их в системную память машины; если это необходимая информация, она остаётся здесь, а данные с низким приоритетом сбрасываются на твердотельные накопители. По мере необходимости они перемещаются в видеопамять графического процессора для дополнительной обработки, а обработанные данные направляются в DRAM и SSD.

 Источник изображения: tomshardware.com

Источник изображения: tomshardware.com

Рабочая станция Maingear Pro AI выпускается в нескольких вариантах от $28 тыс. за версию с одним графическим ускорителем Nvidia RTX 6000 Ada A100 до $60 тыс. за комплектацию с четырьмя GPU. Ведущим партнёром Phison по поставке оборудования для новой платформы является Maingear, но разработчик сотрудничает также с MSI, Gigabyte, ASUS и Deep Mentor, которые готовы предложить свои решения.

Промежуточная библиотека Phison aiDaptiv+ работает с Pytorch/Tensor Flow и не требует модификации приложений ИИ. Затраты на обучение модели на такой установке в шесть раз ниже, чем её запуск на восьми кластерах с 30 ИИ-ускорителями, но процедура занимает примерно в четыре раза больше времени. Есть также вариант горизонтального масштабирования с запуском четырёх рабочих станций при чуть более чем половине стоимости — в этом случае обучение модели на 70 млрд параметров займёт около 1,2 часа, тогда как система с 30 ИИ-ускорителями проведёт его за 0,8 часа.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Мышь Logitech MX Master 4 показали до анонса — у неё появилась таинственная боковая клавиша 2 ч.
SK Hynix первой предложит память HBM4E и уже заключила контракт с Nvidia и Microsoft 2 ч.
Основатель SoftBank предложил создать в США хаб Crystal Land стоимостью $1 трлн для развития ИИ и роботов 6 ч.
Акции производителей чипов упали из-за антикитайских угроз властей США в адрес TSMC, Samsung и SK Hynix 7 ч.
ИИ-кластер Huawei CloudMatrix 384 обошёл решения Nvidia в тестах с DeepSeek R1 9 ч.
Госзакупки зарубежных СХД и серверов упали более чем вдвое 9 ч.
«Мам, мне для учёбы», — Apple сделала 81-страничную презентацию, чтобы убеждать родителей купить Mac 10 ч.
США запретят TSMC, Samsung и SK Hynix использовать американское оборудование на китайских заводах 10 ч.
Tecno сообщила о глобальном старте продаж смартфонов серии Pova 7 11 ч.
Гуманоидные роботы Foxconn приступят к сборке ИИ-серверов Nvidia уже в следующем году 12 ч.