Сегодня 25 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Phison придумала, как с помощью SSD в шесть раз удешевить обучение больших языковых моделей

Phison продемонстрировала на мероприятии Nvidia GTC 2024 рабочую станцию с четырьмя графическими процессорами, производительности которой хватило для обучения модели искусственного интеллекта с 70 млрд параметров. Это стало возможным за счёт задействования ресурсов SSD и системной DRAM, передаёт Tom’s Hardware. В обычных условиях эта задача требует шести серверов с 24 ускорителями Nvidia H100 и 1,4 Тбайт видеопамяти.

 Источник изображения: phison.com

Источник изображения: phison.com

Платформа Phison aiDaptiv+ помогает снижать барьеры для обучения больших языковых моделей ИИ за счёт использования системной памяти и твердотельных накопителей для увеличения объёма доступной графическим процессорам памяти. Это решение позволит компаниям снизить затраты на обучение ИИ и избежать дефицита графических процессоров, который угрожает отрасли. Производительность такой системы, конечно, уступает дорогим серверным решениям, но открывает возможности представителям малого и среднего бизнеса запускать передовые модели локально, обеспечивая конфиденциальность данных, если затраты времени на обучение не являются критичными.

 Источник изображения: phison.com

Источник изображения: phison.com

Для демонстрации использовалась рабочая станция Maingear Pro AI с процессором Intel Xeon W7-3445X, 512 Гбайт памяти DDR5-5600 и двумя специализированными твердотельными накопителями Phison aiDaptiveCache ai100E формата M.2 по 2 Тбайт, специально предназначенными для кеширования рабочих нагрузок. Эти диски на основе чипов SLC рассчитаны на 100 циклов перезаписи в день в течение пяти лет. Программное решение Phison aiDaptiv+ «отрезает» слои ИИ-модели от видеопамяти, которые активно не обрабатываются, и отправляет их в системную память машины; если это необходимая информация, она остаётся здесь, а данные с низким приоритетом сбрасываются на твердотельные накопители. По мере необходимости они перемещаются в видеопамять графического процессора для дополнительной обработки, а обработанные данные направляются в DRAM и SSD.

 Источник изображения: tomshardware.com

Источник изображения: tomshardware.com

Рабочая станция Maingear Pro AI выпускается в нескольких вариантах от $28 тыс. за версию с одним графическим ускорителем Nvidia RTX 6000 Ada A100 до $60 тыс. за комплектацию с четырьмя GPU. Ведущим партнёром Phison по поставке оборудования для новой платформы является Maingear, но разработчик сотрудничает также с MSI, Gigabyte, ASUS и Deep Mentor, которые готовы предложить свои решения.

Промежуточная библиотека Phison aiDaptiv+ работает с Pytorch/Tensor Flow и не требует модификации приложений ИИ. Затраты на обучение модели на такой установке в шесть раз ниже, чем её запуск на восьми кластерах с 30 ИИ-ускорителями, но процедура занимает примерно в четыре раза больше времени. Есть также вариант горизонтального масштабирования с запуском четырёх рабочих станций при чуть более чем половине стоимости — в этом случае обучение модели на 70 млрд параметров займёт около 1,2 часа, тогда как система с 30 ИИ-ускорителями проведёт его за 0,8 часа.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Вдохновлённое Disco Elysium мистическое приключение Pera Coda отправит исследовать сюрреалистический Стамбул и глубины собственной психики 35 мин.
Google представила Chrome 138 с новыми ИИ-функциями, исправлениями уязвимостей и синхронизацией групп вкладок 2 ч.
Живой мир, больше разнообразия и ещё несколько лет до релиза: основатель Mundfish поделился новыми подробностями Atomic Heart 2 2 ч.
Audi и Mercedes-Benz отказались от платформы Apple CarPlay Ultra, но обычный CarPlay оставят 3 ч.
Xbox подтвердила дату выхода Senua's Saga: Hellblade II на PS5 и анонсировала улучшения для игры на PC и Xbox 4 ч.
Chrome для Android наконец научился переносить адресную строку в нижнюю часть экрана 4 ч.
Nvidia завершила бета-тестирование DLSS Transformer — с ней игры пойдут в 4K и 240 FPS 4 ч.
Diablo IV возглавила июльскую подборку игр для подписчиков PS Plus, а Sony готовится к празднику 5 ч.
HPE делает ставку на повсеместное использование ИИ-агентов 6 ч.
«Сбер» научил GigaChat рассуждать над запросами, но функцию пока открыл не всем 6 ч.
Vivo выпустила смарт-часы Watch 5 с поддержкой eSIM за $140 — есть и версия подешевле 5 мин.
TCL выпустила 57-дюймовый игровой монитор 57R94 с разрешением 8K2K и частотой обновления 120 Гц 2 ч.
HPE представила новые решения для частных ИИ-фабрик на базе решений NVIDIA 4 ч.
Представлен Fairphone 6 — смартфон с повышенной ремонтопригодностью, 8 годами обновлений и модульными аксессуарами 4 ч.
Vivo представила X Fold 5 — самый лёгкий и защищённый смартфон-книжку в мире. А ещё он совместим с Apple Watch и AirPods 4 ч.
HDMI 2.2 будет поддерживать 16K при 60 Гц и до 96 Гбит/с — утверждены финальные спецификации 5 ч.
Состоялся релиз InfoWatch ARMA Industrial Firewall 3.14 с поддержкой глубокого разбора 16 промышленных протоколов 6 ч.
Гознак построит в Москве ЦОД на 1,5 тыс. стоек 7 ч.
Граждане Индии, Венгрии и Польши впервые полетели на МКС в рамках частной миссии Axiom Space 8 ч.
Intel свернёт производство автопроцессоров ради серверов и ПК 9 ч.