Сегодня 02 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Phison придумала, как с помощью SSD в шесть раз удешевить обучение больших языковых моделей

Phison продемонстрировала на мероприятии Nvidia GTC 2024 рабочую станцию с четырьмя графическими процессорами, производительности которой хватило для обучения модели искусственного интеллекта с 70 млрд параметров. Это стало возможным за счёт задействования ресурсов SSD и системной DRAM, передаёт Tom’s Hardware. В обычных условиях эта задача требует шести серверов с 24 ускорителями Nvidia H100 и 1,4 Тбайт видеопамяти.

 Источник изображения: phison.com

Источник изображения: phison.com

Платформа Phison aiDaptiv+ помогает снижать барьеры для обучения больших языковых моделей ИИ за счёт использования системной памяти и твердотельных накопителей для увеличения объёма доступной графическим процессорам памяти. Это решение позволит компаниям снизить затраты на обучение ИИ и избежать дефицита графических процессоров, который угрожает отрасли. Производительность такой системы, конечно, уступает дорогим серверным решениям, но открывает возможности представителям малого и среднего бизнеса запускать передовые модели локально, обеспечивая конфиденциальность данных, если затраты времени на обучение не являются критичными.

 Источник изображения: phison.com

Источник изображения: phison.com

Для демонстрации использовалась рабочая станция Maingear Pro AI с процессором Intel Xeon W7-3445X, 512 Гбайт памяти DDR5-5600 и двумя специализированными твердотельными накопителями Phison aiDaptiveCache ai100E формата M.2 по 2 Тбайт, специально предназначенными для кеширования рабочих нагрузок. Эти диски на основе чипов SLC рассчитаны на 100 циклов перезаписи в день в течение пяти лет. Программное решение Phison aiDaptiv+ «отрезает» слои ИИ-модели от видеопамяти, которые активно не обрабатываются, и отправляет их в системную память машины; если это необходимая информация, она остаётся здесь, а данные с низким приоритетом сбрасываются на твердотельные накопители. По мере необходимости они перемещаются в видеопамять графического процессора для дополнительной обработки, а обработанные данные направляются в DRAM и SSD.

 Источник изображения: tomshardware.com

Источник изображения: tomshardware.com

Рабочая станция Maingear Pro AI выпускается в нескольких вариантах от $28 тыс. за версию с одним графическим ускорителем Nvidia RTX 6000 Ada A100 до $60 тыс. за комплектацию с четырьмя GPU. Ведущим партнёром Phison по поставке оборудования для новой платформы является Maingear, но разработчик сотрудничает также с MSI, Gigabyte, ASUS и Deep Mentor, которые готовы предложить свои решения.

Промежуточная библиотека Phison aiDaptiv+ работает с Pytorch/Tensor Flow и не требует модификации приложений ИИ. Затраты на обучение модели на такой установке в шесть раз ниже, чем её запуск на восьми кластерах с 30 ИИ-ускорителями, но процедура занимает примерно в четыре раза больше времени. Есть также вариант горизонтального масштабирования с запуском четырёх рабочих станций при чуть более чем половине стоимости — в этом случае обучение модели на 70 млрд параметров займёт около 1,2 часа, тогда как система с 30 ИИ-ускорителями проведёт его за 0,8 часа.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Не Hollow Knight: Silksong единой — Microsoft рассказала о первых новинках Game Pass в сентябре 33 мин.
Представлен Dolby Vision 2 — «кинематографический» HDR, аутентичное сглаживание и ИИ-оптимизации 48 мин.
Квантовые компьютеры ещё не готовы, но в ПО для них уже инвестируют миллионы 55 мин.
Слухи: Ubisoft начала строить планы на Rayman 4, а Beyond Good and Evil 2 выйдет до конца 2027 года 2 ч.
Спустя почти год Capcom удалила Denuvo из Dead Rising Deluxe Remaster, но заменила её другой DRM 3 ч.
Не хочешь — заставим: правительство само определит категории объектов КИИ 4 ч.
Криптовалюта WLFI Дональда Трампа упала в цене в первый же день торгов 6 ч.
GeForce RTX 4060 стала самой популярной видеокартой в Steam, а доля Windows 11 впервые превысила 60 % 7 ч.
7 из 10 человек теперь заходят в интернет через Google Chrome — Edge и Safari сильно отстают 8 ч.
YouTube начал блокировать семейные Premium-подписки, если их участники не живут вместе 8 ч.
Thermalright выпустила кулер Phantom Spirit 120 Digital с цифровым дисплеем и поддержкой процессоров с TDP до 275 Вт 4 мин.
Tesla провалила старт продаж в Индии — всего 600 заказов за 2,5 месяца 43 мин.
Передовые чипы подорожают: TSMC повысит цены на 10 % из-за трамповских пошлин 2 ч.
Одна плата ASRock уничтожила два Ryzen 7 9800X3D всего за несколько месяцев 2 ч.
В небо над Россией запустят воздушные шары с 5G — альтернатива спутникам Starlink 3 ч.
Мировые продажи электромобилей выросли на 29 % и перевалят за 20 млн в этом году 3 ч.
В умном доме «Сбера» поселился GigaChat — ИИ прокачал голосовое управления и не только 3 ч.
«Не понадобится ни один человек»: доступные роботы позволят Китаю и дальше заваливать мир дешёвыми товарами 3 ч.
Революция в мире оптической связи: Microsoft помогла улучшить характеристики полого оптоволокна 3 ч.
Tecno представила сверхтонкие смартфоны Spark Slim и Pova Slim — меньше 6 мм, но больше 5000 мА·ч 4 ч.