Сегодня 08 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Phison придумала, как с помощью SSD в шесть раз удешевить обучение больших языковых моделей

Phison продемонстрировала на мероприятии Nvidia GTC 2024 рабочую станцию с четырьмя графическими процессорами, производительности которой хватило для обучения модели искусственного интеллекта с 70 млрд параметров. Это стало возможным за счёт задействования ресурсов SSD и системной DRAM, передаёт Tom’s Hardware. В обычных условиях эта задача требует шести серверов с 24 ускорителями Nvidia H100 и 1,4 Тбайт видеопамяти.

 Источник изображения: phison.com

Источник изображения: phison.com

Платформа Phison aiDaptiv+ помогает снижать барьеры для обучения больших языковых моделей ИИ за счёт использования системной памяти и твердотельных накопителей для увеличения объёма доступной графическим процессорам памяти. Это решение позволит компаниям снизить затраты на обучение ИИ и избежать дефицита графических процессоров, который угрожает отрасли. Производительность такой системы, конечно, уступает дорогим серверным решениям, но открывает возможности представителям малого и среднего бизнеса запускать передовые модели локально, обеспечивая конфиденциальность данных, если затраты времени на обучение не являются критичными.

 Источник изображения: phison.com

Источник изображения: phison.com

Для демонстрации использовалась рабочая станция Maingear Pro AI с процессором Intel Xeon W7-3445X, 512 Гбайт памяти DDR5-5600 и двумя специализированными твердотельными накопителями Phison aiDaptiveCache ai100E формата M.2 по 2 Тбайт, специально предназначенными для кеширования рабочих нагрузок. Эти диски на основе чипов SLC рассчитаны на 100 циклов перезаписи в день в течение пяти лет. Программное решение Phison aiDaptiv+ «отрезает» слои ИИ-модели от видеопамяти, которые активно не обрабатываются, и отправляет их в системную память машины; если это необходимая информация, она остаётся здесь, а данные с низким приоритетом сбрасываются на твердотельные накопители. По мере необходимости они перемещаются в видеопамять графического процессора для дополнительной обработки, а обработанные данные направляются в DRAM и SSD.

 Источник изображения: tomshardware.com

Источник изображения: tomshardware.com

Рабочая станция Maingear Pro AI выпускается в нескольких вариантах от $28 тыс. за версию с одним графическим ускорителем Nvidia RTX 6000 Ada A100 до $60 тыс. за комплектацию с четырьмя GPU. Ведущим партнёром Phison по поставке оборудования для новой платформы является Maingear, но разработчик сотрудничает также с MSI, Gigabyte, ASUS и Deep Mentor, которые готовы предложить свои решения.

Промежуточная библиотека Phison aiDaptiv+ работает с Pytorch/Tensor Flow и не требует модификации приложений ИИ. Затраты на обучение модели на такой установке в шесть раз ниже, чем её запуск на восьми кластерах с 30 ИИ-ускорителями, но процедура занимает примерно в четыре раза больше времени. Есть также вариант горизонтального масштабирования с запуском четырёх рабочих станций при чуть более чем половине стоимости — в этом случае обучение модели на 70 млрд параметров займёт около 1,2 часа, тогда как система с 30 ИИ-ускорителями проведёт его за 0,8 часа.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
С начала года северокорейские хакеры украли криптовалюты на $2 млрд — это рекорд 30 мин.
Vampire Survivors получит большое обновление с онлайн-кооперативом и ответом на «животрепещущий вопрос, который нам задавали тысячи раз» 2 ч.
Atari уберёт классическую версию System Shock 2 из продажи в Steam, оставив только более дорогой ремастер 3 ч.
«Увидимся на поле боя, господа»: взрывной релизный трейлер Battlefield 6 готовит игроков к тотальной войне 3 ч.
Steam и Riot Games отключили миллионы игроков из-за мощнейшей DDoS-атаки 5 ч.
Google представила модель Gemini, которая заполняет в браузере формы и играет в 2048 5 ч.
Meta представила новые функции Reels в Facebook, чтобы сделать сервис более похожим на TikTok 12 ч.
Steam сломался второй раз за день — проблемы наблюдаются по всему миру 15 ч.
«Вы передо мной в долгу», — Трамп вернулся в TikTok и сразу же обратился к молодёжи 17 ч.
Хакеры заявили о взломе Huawei и получении доступа к средствам разработки и исходному коду 17 ч.
Мультимедийное будущее наступило: как современные проекторы захватили гостиные 5 мин.
Китай продолжает закупать импортное оборудование для производства чипов на десятки миллиардов долларов 37 мин.
HPE отдала Nokia «ненужные» технологии Juniper Networks для мобильных сетей, часть сотрудников и одного вице-президента 3 ч.
Глава Nvidia заверил сотрудников, что будет платить по $100 000 за выдачу виз H-1B для них 3 ч.
Nvidia поддержит xAI деньгами, чтобы та смогла арендовать больше её ускорителей 3 ч.
Пациент с мозговым имплантом Neuralink продемонстрировал способность управлять роботизированной рукой 4 ч.
Tesla представила «доступные» Model 3 и Model Y — без многих опций, но всё равно с ценой от $37 000 5 ч.
Be quiet! представила корпуса-аквариумы Light Base 500 LX и Light Base 500 c ARGB-подсветкой и без 10 ч.
Новая статья: Обзор смартфона Apple iPhone 17: долгожданные улучшения 11 ч.
Qualcomm купила Arduino: бренд и экосистему обещают сохранить 12 ч.