Из-за стремительного роста спроса на аппаратное обеспечение, необходимое для обучения и развёртывания технологий искусственного интеллекта, передовые ускорители вычислений NVIDIA H100 продаются на торговой онлайн-площадке eBay более чем за $40 тыс.
Источник изображения: NVIDIA
На ситуацию обратил внимание пионер игровой индустрии и бывший технологический консультант компании Meta✴ Джон Кармак (John Carmack). В пятницу как минимум восемь ускорителей NVIDIA H100 предлагалась продавцами на eBay по ценам от $39,995 до почти $46 000. Немного ранее некоторые продавцы отпускали их по $36 000 за штуку.
Источник изображения: eBay
Флагманский ускоритель вычислений H100, являющийся наследником модели A100 стоимостью $10 тыс., был представлен NVIDIA в прошлом году.
Разработчики используют H100 для создания так называемых языковых моделей (LLM), являющихся основной для таких ИИ-приложений, как чат-бот ChatGPT от компании OpenAI. Это очень дорогие и энергозатратные системы, способные всего за несколько дней или недель обрабатывать терабайты информации, необходимой для обучения ИИ.
Процесс обучения ИИ-моделей, особенно таких больших как GPT, требует одновременной работы сотен передовых ускорителей NVIDIA. Та же компания Microsoft потратила сотни миллионов долларов на закупку десятков тысяч ускорителей NVIDIA A100 предыдущего поколения, на базе которых проводилось обучение чат-бота ChatGPT для OpenAI.
В ассортименте компании NVIDIA также есть готовые суперкомьютеры DGX, в состав которых входят сразу по восемь ускорителей вычислений. В этом году компания запустила облачный сервис DGX Cloud, позволяющий арендовать доступ к системам DGX A100 за $37 тыс. в месяц.