Сегодня 17 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Phison придумала, как с помощью SSD в шесть раз удешевить обучение больших языковых моделей

Phison продемонстрировала на мероприятии Nvidia GTC 2024 рабочую станцию с четырьмя графическими процессорами, производительности которой хватило для обучения модели искусственного интеллекта с 70 млрд параметров. Это стало возможным за счёт задействования ресурсов SSD и системной DRAM, передаёт Tom’s Hardware. В обычных условиях эта задача требует шести серверов с 24 ускорителями Nvidia H100 и 1,4 Тбайт видеопамяти.

 Источник изображения: phison.com

Источник изображения: phison.com

Платформа Phison aiDaptiv+ помогает снижать барьеры для обучения больших языковых моделей ИИ за счёт использования системной памяти и твердотельных накопителей для увеличения объёма доступной графическим процессорам памяти. Это решение позволит компаниям снизить затраты на обучение ИИ и избежать дефицита графических процессоров, который угрожает отрасли. Производительность такой системы, конечно, уступает дорогим серверным решениям, но открывает возможности представителям малого и среднего бизнеса запускать передовые модели локально, обеспечивая конфиденциальность данных, если затраты времени на обучение не являются критичными.

 Источник изображения: phison.com

Источник изображения: phison.com

Для демонстрации использовалась рабочая станция Maingear Pro AI с процессором Intel Xeon W7-3445X, 512 Гбайт памяти DDR5-5600 и двумя специализированными твердотельными накопителями Phison aiDaptiveCache ai100E формата M.2 по 2 Тбайт, специально предназначенными для кеширования рабочих нагрузок. Эти диски на основе чипов SLC рассчитаны на 100 циклов перезаписи в день в течение пяти лет. Программное решение Phison aiDaptiv+ «отрезает» слои ИИ-модели от видеопамяти, которые активно не обрабатываются, и отправляет их в системную память машины; если это необходимая информация, она остаётся здесь, а данные с низким приоритетом сбрасываются на твердотельные накопители. По мере необходимости они перемещаются в видеопамять графического процессора для дополнительной обработки, а обработанные данные направляются в DRAM и SSD.

 Источник изображения: tomshardware.com

Источник изображения: tomshardware.com

Рабочая станция Maingear Pro AI выпускается в нескольких вариантах от $28 тыс. за версию с одним графическим ускорителем Nvidia RTX 6000 Ada A100 до $60 тыс. за комплектацию с четырьмя GPU. Ведущим партнёром Phison по поставке оборудования для новой платформы является Maingear, но разработчик сотрудничает также с MSI, Gigabyte, ASUS и Deep Mentor, которые готовы предложить свои решения.

Промежуточная библиотека Phison aiDaptiv+ работает с Pytorch/Tensor Flow и не требует модификации приложений ИИ. Затраты на обучение модели на такой установке в шесть раз ниже, чем её запуск на восьми кластерах с 30 ИИ-ускорителями, но процедура занимает примерно в четыре раза больше времени. Есть также вариант горизонтального масштабирования с запуском четырёх рабочих станций при чуть более чем половине стоимости — в этом случае обучение модели на 70 млрд параметров займёт около 1,2 часа, тогда как система с 30 ИИ-ускорителями проведёт его за 0,8 часа.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Даже авторы сценария The Wolf Among Us 2 не знают, что происходит с игрой 45 мин.
Nothing анонсировала OS 4.0 — интерфейс стал проще, а камера умнее 3 ч.
Paradox добавила возмутившие фанатов платные кланы в стандартное издание Vampire: The Masquerade — Bloodlines 2 и анонсировала два сюжетных DLC 3 ч.
Жертвы утечки данных Facebook через Cambridge Analytica начали получать выплаты от Цукерберга 4 ч.
Энтузиаст запустил классическую Doom на старом КПК и оставил работать — игра вылетела спустя два с половиной года 4 ч.
В мессенджере Max начинаются «открытые» тесты каналов — создавать их разрешат блогерам из реестра РКН 4 ч.
В России выплатили первую зарплату в цифровых рублях 5 ч.
На официальном сайте Like a Dragon засветилась Yakuza Kiwami 3 — Ryu Ga Gotoku Studio готовит анонс ремейка Yakuza 3 6 ч.
Microsoft обратилась к ИИ от Anthropic для Visual Studio Code — OpenAI больше не в почёте 7 ч.
«Базис» выходит на рынок Бразилии 7 ч.
Garmin выпустила смарт-часы Venu 4 — улучшенные функции, светодиодный фонарик и цена от $550 11 мин.
iPhone 17 Pro обласкали в первых обзорах: «значительное обновление, вызывающее восторг» 14 мин.
СМИ и блогеры протестировали iPhone Air: «ультратонкий смартфон не без компромиссов» 34 мин.
Вышли первые обзоры iPhone 17: «лучший вариант базовой модели за последние годы» 45 мин.
Patriot представила два PCIe 5.0 SSD: Viper PV563 среднего уровня и PA523 — начального 2 ч.
Завтра утром недалеко от Земли пролетит огромный астероид 2025 FA22, и за ним можно понаблюдать онлайн 3 ч.
DJI представила компактный дрон Mini 5 Pro с дюймовым сенсором и повышенной автономностью 3 ч.
Новые детские умные часы Garmin Bounce 2 с отслеживанием и двусторонней связью оценены в $300 4 ч.
Дженсен Хуанг «разочарован», но «понимает» решение Китая о запрете импорта ускорителей Nvidia 4 ч.
Apple планирует выпустить в 2026 году MacBook Pro с сенсорным OLED-дисплеем 4 ч.