От Мура к Хуангу: новый взгляд NVIDIA на развитие вычислительных технологий

Сегодня актуальность закона Мура вызывает всё больше вопросов, поэтому учёные компании NVIDIA предложили новый взгляд на будущее вычислительной техники: закон Хуанга. Названный в честь основателя и руководителя NVIDIA Дженсена Хуанга (Jensen Huang), этот закон предполагает, что динамика роста производительности процессоров, которую мы наблюдаем, не иссякнет в будущем и будет продолжаться, опираясь в основном на человеческую изобретательность.

Источник изображений: NVIDIA

Основное отличие закона Хуанга от закона Мура заключается в акценте на архитектурных и алгоритмических инновациях, а не на простом удвоении числа транзисторов на кристалле каждые два года благодаря уменьшению размеров технологического процесса. Главный научный сотрудник NVIDIA Билл Дэйли (Bill Dally) на недавней конференции Hot Chips 2023 подчеркнул, что переход от 28-нм к 5-нм технологическим процессам в течение десятилетия принёс лишь 2,5-кратный прирост производительности, в то время как основной рост был достигнут благодаря ключевым инновациям в архитектуре и обработке чисел.

Основной вклад в 1000-кратное увеличение производительности принесло упрощение представления чисел, используемых компьютерами для расчётов. Внедрение архитектуры NVIDIA Hopper с движком Transformer позволило сделать значительный шаг в ускорении процесса обучения ИИ-моделей. Тензорные ядра Hopper, способные смешивать форматы 8-битных и 16-битных вычислений с плавающей точкой, стали ключевым моментом для ускорения ИИ-вычислений в процессе обучения трансформеров (определённый тип глубоких нейронных сетей), не уменьшив при этом требуемую точность. Это нововведение позволило достичь высшего уровня эффективности в вычислениях, что критически важно для современных задач в области ИИ.

Более того, производительность операций с плавающей точкой в 32-битном, 64-битном, 16-битном форматах, а также 8-битных целочисленных вычислений утроилась, что также внесло вклад в общее ускорение вычислительных процессов. В сочетании с движком Transformer и технологией NVIDIA NVLink четвёртого поколения тензорные ядра Hopper позволили ускорить рабочие нагрузки на порядок в области высокопроизводительных вычислений (HPC) и задач ИИ.

Кроме того, команда из более чем 300 человек, возглавляемая Дэйли в NVIDIA Research, разработала продвинутые инструкции, которые позволяют GPU более эффективно организовывать свою работу, сэкономив энергию и увеличив производительность в 12,5 раза. Такие инновации, как структурная разреженность в архитектуре NVIDIA Ampere, позволили дополнительно увеличить производительность в 2 раза, не ущемляя точность моделей ИИ.

Эта смена акцентов открывает дорогу к созданию новых, более эффективных архитектур и алгоритмов, что делает текущее время чрезвычайно захватывающим для специалистов в области компьютерной инженерии и проектирования микросхем. Судя по всему, перед индустрией информационных технологий открывается новая эра возможностей, где человеческий гений и инновационный подход становятся ключевыми факторами прогресса.