Сегодня 19 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Phison придумала, как с помощью SSD в шесть раз удешевить обучение больших языковых моделей

Phison продемонстрировала на мероприятии Nvidia GTC 2024 рабочую станцию с четырьмя графическими процессорами, производительности которой хватило для обучения модели искусственного интеллекта с 70 млрд параметров. Это стало возможным за счёт задействования ресурсов SSD и системной DRAM, передаёт Tom’s Hardware. В обычных условиях эта задача требует шести серверов с 24 ускорителями Nvidia H100 и 1,4 Тбайт видеопамяти.

 Источник изображения: phison.com

Источник изображения: phison.com

Платформа Phison aiDaptiv+ помогает снижать барьеры для обучения больших языковых моделей ИИ за счёт использования системной памяти и твердотельных накопителей для увеличения объёма доступной графическим процессорам памяти. Это решение позволит компаниям снизить затраты на обучение ИИ и избежать дефицита графических процессоров, который угрожает отрасли. Производительность такой системы, конечно, уступает дорогим серверным решениям, но открывает возможности представителям малого и среднего бизнеса запускать передовые модели локально, обеспечивая конфиденциальность данных, если затраты времени на обучение не являются критичными.

 Источник изображения: phison.com

Источник изображения: phison.com

Для демонстрации использовалась рабочая станция Maingear Pro AI с процессором Intel Xeon W7-3445X, 512 Гбайт памяти DDR5-5600 и двумя специализированными твердотельными накопителями Phison aiDaptiveCache ai100E формата M.2 по 2 Тбайт, специально предназначенными для кеширования рабочих нагрузок. Эти диски на основе чипов SLC рассчитаны на 100 циклов перезаписи в день в течение пяти лет. Программное решение Phison aiDaptiv+ «отрезает» слои ИИ-модели от видеопамяти, которые активно не обрабатываются, и отправляет их в системную память машины; если это необходимая информация, она остаётся здесь, а данные с низким приоритетом сбрасываются на твердотельные накопители. По мере необходимости они перемещаются в видеопамять графического процессора для дополнительной обработки, а обработанные данные направляются в DRAM и SSD.

 Источник изображения: tomshardware.com

Источник изображения: tomshardware.com

Рабочая станция Maingear Pro AI выпускается в нескольких вариантах от $28 тыс. за версию с одним графическим ускорителем Nvidia RTX 6000 Ada A100 до $60 тыс. за комплектацию с четырьмя GPU. Ведущим партнёром Phison по поставке оборудования для новой платформы является Maingear, но разработчик сотрудничает также с MSI, Gigabyte, ASUS и Deep Mentor, которые готовы предложить свои решения.

Промежуточная библиотека Phison aiDaptiv+ работает с Pytorch/Tensor Flow и не требует модификации приложений ИИ. Затраты на обучение модели на такой установке в шесть раз ниже, чем её запуск на восьми кластерах с 30 ИИ-ускорителями, но процедура занимает примерно в четыре раза больше времени. Есть также вариант горизонтального масштабирования с запуском четырёх рабочих станций при чуть более чем половине стоимости — в этом случае обучение модели на 70 млрд параметров займёт около 1,2 часа, тогда как система с 30 ИИ-ускорителями проведёт его за 0,8 часа.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Cast n Chill — вы, сэр, рыба. Рецензия 3 ч.
Возвращение к шутерам от первого лица: Ubisoft подтвердила разработку новой Ghost Recon 4 ч.
Кооперативный боевик Contraband от создателей Just Cause всё ещё жив, но оказался игрой-сервисом 5 ч.
Meta отказалась соблюдать «чрезмерные» правила разработки ИИ, предложенные ЕС 6 ч.
Microsoft уличили в допуске китайцев к секретным облачными системами Пентагона 7 ч.
Legacy of the Forge «уже не за горами» — Warhorse раскрыла, когда ждать новостей о втором дополнении к Kingdom Come: Deliverance 2 7 ч.
Перевод на русский, Denuvo и первые детали геймплея: Persona 4 Revival получила страницу в Steam 8 ч.
Netflix призналась, что начала использовать ИИ при создании сериалов 9 ч.
Фэнтезийная 4X-стратегия Endless Legend 2 от создателей Humankind не выйдет 7 августа в раннем доступе Steam, но есть и хорошая новость 10 ч.
iOS 26 защитит пользователей iPhone от телефонных спамеров 10 ч.
Углеродные выбросы Amazon выросли в 2024 году на 6 % из-за ИИ ЦОД и любителей шопинга 3 ч.
Австрийцы упаковали электромобильный аккумулятор в корпус из дерева и стали 6 ч.
В Роттердаме запустят беспилотные рейсовые автобусы между городом и аэропортом 7 ч.
Asus представила материнскую плату ROG Strix X870-H Gaming WiFi7 S с ярким аниме-дизайном 7 ч.
ASRock представила плату X870E Taichi OCF для экстремального разгона Ryzen 9000 и другие новинки с AM5 9 ч.
США намерены ослабить влияние Китая на подводную интернет-инфраструктуру, но у них это вряд ли получится 10 ч.
Российские учёные создали фотонный детектор с «обонянием» — он учует опасные газы в воздухе, диабет и алкогольную вечеринку 12 ч.
Передовые твердотельные батареи в электромобилях появятся в лучшем случае через пять лет 12 ч.
В России впервые запущено производство особо чистого тетрахлорида германия для выпуска оптоволокна 13 ч.
Китайский охотник за астероидами испытал камеры на Земле и Луне — и поделился впечатляющими снимками 14 ч.