ИИ-ускорители получат терабайты памяти: SanDisk задумала заменить HBM сверхбыстрой флеш-памятью HBF

Читать в полной версии

SanDisk скоро обретёт независимость от Western Digital, и у неё большие планы на будущее. Компания, в частности, намеревается заняться развитием технологии HBF (High Bandwidth Flash), которая обеспечит ускорители искусственного интеллекта значительно бо́льшим объёмом памяти, чем позволяет применяемая сегодня HBM (High Bandwidth Memory).

Источник изображений: SanDisk

Идея может показаться абсурдной, потому что флеш-память NAND традиционно значительно медленнее, чем DRAM, которая лежит в основе HBM. HBF призвана решить эту проблему и стать оптимальным решением при задачах, связанных с запуском уже обученных моделей (инференсом), а не обучением нейросетей. Со сменой поколений HBM увеличивается и доступный объём памяти — сегодня ускорители от AMD и Nvidia предлагают по 192 Гбайт. SanDisk уверяет, что HBF поможет увеличить этот показатель в восемь, а то и в 16 раз при сопоставимой цене.

Компания предлагает два сценария в сравнении с традиционной конфигурацией с восемью стеками HBM общим объёмом 192 Гбайт. Первый вариант — шесть чипов HBF и два HBM. В этом случае общий объём памяти вырастает до 3120 Гбайт или около 3 Тбайт. Во втором сценарии рассматривается полная замена HBM на HBF, что даст ускорителю 4096 Гбайт (4 Тбайт) памяти. В такой объём можно целиком поместить большую языковую модель Frontier с 1,8 трлн параметров и размером 3,6 Тбайт. В приведённых примерах ёмкость одного стека HBM принята за 24 Гбайт, а HBF — 512 Гбайт (более чем в 21 раз выше), потому что у флеш-памяти NAND более высокая плотность.

На схеме HBF кристаллы флеш-памяти NAND устанавливаются друг на друга и размещаются над логическим кристаллом. Стек HBF, как и HBM, устанавливается на интерпозере рядом с графическим, центральным или тензорным процессором в зависимости от того, где требуется память; интерфейс потребует лишь «незначительных изменений протокола». Главное, что HBF, по версии SanDisk, предлагает ту же пропускную способность, что и HBM.

В традиционном варианте NAND действительно приближается к DRAM по пропускной способности, но отчаянно проигрывает по времени доступа. Эту проблему в SanDisk решили специальной архитектурой NAND, поделив компонент на несколько областей с бо́льшим количеством линий данных, что означает ускорение доступа и более высокую производительность.

Архитектуру HBF разработали в компании в прошлом году под «влиянием крупных игроков в области ИИ». Далее будет сформирован технический консультативный совет, в который войдут партнёры компании и лидеры отрасли; затем появится открытый стандарт. В 2019 году японские учёные предложили концепцию HBN (High Bandwidth NAND), и не исключено, что у HBF есть с ней нечто общее. SanDisk тем временем уже подготовила «дорожную карту», в которой описываются новые поколения памяти этого типа — увеличиваться будут и ёмкость, и производительность.