Google DeepMind считает, что память типа HBF будет востребована в инференсе

На этой неделе компании Sandisk и SK hynix представили память стандарта HBF, которая сочетает большой объём хранимых данных с высокой пропускной способностью интерфейса. Эту разработку на уровне отраслевого консорциума также поддержали Tenstorrent и Google, и представители последней отметили, что HBF проявит себя в инференсе.

Напомним, под этим англоязычным термином подразумевается работа с уже обученными ИИ-моделями, которая подразумевает формирование логических выводов. По сути, HBF компоновочно повторяет оперативную память HBM, но в отличие от неё позволяет долговременно хранить информацию. Способность быстро её извлекать для вычислений в сфере инференса, по словам исследователя Сяою Ма (Xiaoyu Ma) из Google DeepMind, будет очень востребована с учётом нынешних тенденций развития систем ИИ. Соответственно, спрос на HBF со стороны вычислительной инфраструктуры искусственного интеллекта тоже будет расти. Помимо прочего, она обеспечит высокую энергетическую эффективность, что тоже важно для операторов центров обработки данных.

Правда, экспертов уже настораживает интенсивность использования HBF в таких системах, которая теоретически будет приводить к быстрому выходу из строя соответствующих микросхем. Они предлагают организовывать работу инфраструктуры таким образом, чтобы HBF использовалась главным образом для чтения данных, а не их записи. Чтобы компенсировать перекос по скорости обработки информации, HBF необходимо использовать в сочетании с HBM, которая будет привлекаться для передачи информации на операциях записи.