Microsoft построила систему с тысячами ускорителей NVIDIA для обучения ChatGPT ещё несколько лет назад

ИИ-чат-бот ChatGPT, созданный компанией Open AI при поддержке Microsoft, набрал широкую популярность за последние несколько месяцев. Теперь же стало известно, что Open AI попросила Microsoft построить инфраструктуру для обучения ИИ-модели ещё пять лет назад.

Источник изображения: digitaltrends.com

Партнёрство Open AI и Microsoft привлекло к себе много внимания, особенно после того, как софтверный гигант объявил о намерении инвестировать $10 млрд в разработчика ИИ-алгоритмов, таких как ChatGPT и DALL-E 2. Однако партнёрство двух компаний началось значительно раньше. Несколько лет назад Microsoft вложила несколько сотен миллионов долларов в Open AI, большая часть из которых пошла на создание инфраструктуры для обучения ИИ-моделей, для чего требуется большое количество производительных ускорителей вычислений на графических процессорах. Согласно имеющимся данным, для реализации этого проекта Microsoft использовала тысячи ускорителей NVIDIA A100 и H100.

На деле собрать вместе множество графических ускорителей ещё недостаточно для того, чтобы обучить языковую модель. Для достижения наилучшей производительности Microsoft пришлось провести масштабную оптимизацию в процессе создания необходимой инфраструктуры. Тем не менее, уже сейчас Microsoft готова открыть доступ к своей инфраструктуре для сторонних разработчиков, анонсировав на этой неделе новую услугу, в рамках которой клиенты смогут получать доступ к системам на базе ускорителей NVIDIA H100 в количестве от восьми до тысяч чипов через облачную платформу Azure.

В Open AI подчеркнули, что обучение ChatGPT было бы невозможным без усилий, приложенных Microsoft. Ожидается, что в скором времени NVIDIA представит новые решения в сфере ИИ. Это может произойти на конференции GPU Technology Conference, которая начнётся 21 марта. Microsoft проведёт презентацию, посвящённую будущим ИИ-продуктам компании, 16 марта.