Intel, Arm и NVIDIA предложили специальный формат чисел для работы с ИИ

Intel, Arm и NVIDIA опубликовали черновик спецификации числового формата FP8 для 8-битных чисел с плавающей точкой. По замыслу компаний этот формат должен стать единым представлением чисел, используемых при решении задач ИИ как при обучении нейросетей, так и при их эксплуатации (инференсе).

Nvidia

Как считают компании, применение 8-битных вещественных чисел при расчёте весовых коэффициентов в нейронных сетях позволит оптимизировать использование аппаратных вычислительных ресурсов. Такие числа занимают меньше памяти и их проще обрабатывать, что увеличит производительность аппаратных ускорителей при решении задач ИИ.

Традиционными форматами чисел с плавающей точкой, используемыми в настоящее время, являются FP32 (с одинарной точностью) и FP16 (с половинной точностью). При решении задач машинного обучения сейчас преимущественно используется второй формат. Однако, как считают Intel, Arm и NVIDIA, числа в ещё более короткой форме хотя и имеют более низкую точность, вполне применимы в задачах ИИ, при этом их можно обрабатывать быстрее и с меньшими затратами энергии.

Например, в своем блоге директор по маркетингу продукции NVIDIA Шар Нарасимхан (Shar Narasimhan) отмечает, что формат FP8 демонстрирует «сопоставимую точность» с 16-битной точностью в таких областях применения, как компьютерное зрение и системы генерации изображений, обеспечивая при этом «значительное» ускорение.

Формат FP8 будет доступен всем желающим без лицензии, в открытом виде. Позднее спецификации будут представлены на рассмотрение IEEE — в отраслевую стандартизирующую организацию в ряде технических областей. «Мы считаем, что наличие общего формата обмена данными обеспечит быстрый прогресс и совместимость как аппаратных, так и программных платформ для развития вычислительной техники», — сказал Нарасимхан.

Стоит отметить, что поддержка FP8-чисел уже реализована в архитектуре GH100 Hopper компании NVIDIA, а также в ИИ-ускорителях Gaudi2 компании Intel.

Единый формат FP8 принесет пользу не только трём компаниям, предложившим стандарт, но и другим игрокам, предлагающим ускорители для работы с ИИ. Так или иначе все они поддерживают какие-то свои версии чисел с плавающей точкой сокращённой точности, и появление единого открытого стандарта вместо нескольких конкурирующих форматов упростит разработку и аппаратных решений, и программных библиотек.