Компания Micron представила первый в мире высокопроизводительный модуль оперативной памяти LPDRAM SOCAMM2 объёмом 256 Гбайт — он разработан специально для работы в центрах обработки данных и рабочих нагрузок в области искусственного интеллекта.
Источник изображений: micron.com
Оперативная память нового типа потребляет втрое меньше мощности и отличается компактными габаритами модуля — сам модуль построен на монолитных кристаллах объёмом 32 Гбит. При наличии 8-канального центрального процессора в системе с 2 Тбайт памяти скорость при рабочей нагрузке инференса (запуска) ИИ увеличивается в 2,3 раза по важнейшему показателю — времени до выдачи первого токена.
Новый модуль памяти Micron ориентирован на задачи вывода больших языковых моделей и прочие рабочие нагрузки, в которых объёмы памяти, пропускная способность, эффективность и величина задержки определяют производительность и масштабируемость. Формфактор SOCAMM2 представляет собой идеальное решение с более компактными размерами модулей и сниженным потреблением энергии в сравнении с традиционным форматом RDIMM. Разработку компонента компания Micron вела совместно с Nvidia. В рабочих нагрузках ИИ видеопамять на графическом процессора имеет решающее значение, но при больших объёмах KV-кеша его можно частично выгружать в более дешёвую общую системную память, если та достаточно быстрая — и эту возможность предлагает LPDRAM SOCAMM2 от Micron.