Meta✴, OpenAI, Microsoft и Oracle заявили, что планируют внедрить в свои системы новейшие ускорители для систем искусственного интеллекта AMD Instinct MI300X. Лидеры отрасли ясно дали понять, что ищут альтернативы дорогим и дефицитным ИИ-ускорителям NVIDIA, которые необходимы для создания и внедрения ИИ-платформ, включая ChatGPT.

Источник изображения: amd.com

Поставки высокопроизводительных ускорителей AMD Instinct MI300X стартуют в начале будущего года, и если он окажется подходящим для технологических компаний и поставщиков облачных услуг, это может снизить затраты на разработку ИИ-моделей и оказать конкурентное давление на NVIDIA, занявшую значительную долю этого рынка. Как отметила вчера AMD, MI300X основан на новой архитектуре CDNA3 и способен обеспечить очень высокую производительность. Одной из его отличительных особенностей являются 192 Гбайт современной высокоскоростной памяти HBM3, что отлично подходит для крупных моделей ИИ.

Глава AMD доктор Лиза Су (Lisa Su) сравнила Instinct MI300X с одним из лучших ускорителей на рынке — NVIDIA H100. «Эта производительность непосредственно улучшает взаимодействие [нейросетей] с пользователем. Когда задаёшь модели вопрос, хочется, чтобы она отвечала быстрее, особенно когда ответы становятся сложнее», — сообщила она. Главный вопрос в том, готовы ли использующие оборудование NVIDIA клиенты тратить время и деньги на внедрение продукции ещё одного поставщика. AMD сообщила инвесторам и партнёрам, что усовершенствовала свой программный пакет ROCm, способный напрямую конкурировать с NVIDIA CUDA, к которому уже привыкли разработчики ИИ-систем. Ещё одним важным аспектом является цена: ускорители NVIDIA реализуются по $40 тыс. — AMD пока не раскрыла цены на Instinct MI300X, но, по словам Лизы Су, её продукт должен быть дешевле аналога от NVIDIA при покупке и эксплуатации.

AMD заявила, что уже заключила контракты с некоторыми клиентами. Meta✴ планирует использовать новые ускорители в генераторах стикеров, ИИ-редакторе изображений и ИИ-помощнике. Технический директор Microsoft Кевин Скотт (Kevin Scott) заявил, что доступ к AMD Instinct MI300X будет открыт в веб-сервисе Azure. Новые чипы будет использовать и облачная инфраструктура Oracle. OpenAI доложила, что будет пользоваться чипами AMD в проекте Triton — это не большая языковая модель вроде GPT, а платформа для исследований с доступом к соответствующим функциям оборудования.

На 2024 год AMD запланировала в сегменте ускорителей для центров обработки данных выручку в $2 млрд, но сообщила, что мировой рынок ИИ-чипов в ближайшие четыре года вырастет до $400 млрд. И чтобы преуспеть на этом рынке, AMD даже не потребуется побеждать NVIDIA, отметила доктор Су.

Учёные из Техасского университета в Остине создали «Усовершенствованный лазерный ускоритель кильватерного поля», который имеет очень компактные размеры, но при этом генерирует высокоэнергетический пучок электронов — до 10 ГэВ или 10 миллиардов электрон-вольт. Это настоящий прорыв в области ускорителей частиц.

Источник изображения: Bjorn «Manuel» Hegelich

Учёные продолжают изучать возможности применения этой технологии, включая потенциал ускорителей частиц в полупроводниковой технологии, медицинской визуализации и терапии, исследованиях в области материалов, энергетики и медицины.

Недавно группа учёных разработала компактный ускоритель частиц, получивший название «усовершенствованный лазерный ускоритель кильватерного поля». Устройство при длине менее 20 метров генерирует электронный пучок с энергией 10 миллиардов электрон-вольт, утверждается в заявлении Техасского университета в Остине. Сам лазер работает в 10-сантиметровой камере, что значительно меньше традиционных ускорителей частиц, которым требуются километры пространства.

Работа ускорителя опирается на инновационный механизм, в котором вспомогательный лазер воздействует на гелий. Газ подвергается нагреву до тех пор, пока не переходит в плазму, которая, в свою очередь, порождает волны. Эти волны обладают способностью перемещать электроны с высокой скоростью и энергией, формируя высокоэнергетический электронный луч. Таким образом получается уместить ускоритель в одном помещении, а не строить огромные системы километрового масштаба. Данный ускоритель был впервые описан ещё в 1979 году исследовательской группой из Техасского университета под руководством Бьорна «Мануэля» Хегелича (Bjorn «Manuel» Hegelich), физика и генерального директора TAU Systems. Однако недавно в конструкцию был внесен ключевой элемент: использование металлических наночастиц. Эти наночастицы вводятся в плазму и играют решающую роль в увеличении энергии электронов в плазменной волне. В результате электронный луч становится не только более мощным, но и более концентрированным и эффективным. Бьорн «Мануэль» Хегелич, ссылаясь на размер камеры, в которой был получен пучок, отметил: «Теперь мы можем достичь таких энергий на расстоянии в 10 сантиметров».

Исследователи использовали в своих экспериментах Техасский петаваттный лазер, самый мощный импульсный лазер в мире, который излучал сверхинтенсивный световой импульс каждый час. Один импульс петаваттного лазера примерно в 1000 раз превышает установленную в США электрическую мощность, но длится всего 150 фемтосекунд — примерно миллиардную долю от продолжительности удара молнии.

Учёные намерены использовать эту технологию для оценки устойчивости космической электроники к радиации, получения трёхмерных визуализаций новых полупроводниковых чипов, а также для создания новых методов лечения рака и передовой медицинской визуализации. Кроме того, этот ускоритель может быть использован для работы другого устройства, называемого рентгеновским лазером на свободных электронах, который может снимать замедленные видеоролики процессов в атомном или молекулярном масштабе. Примеры таких процессов включают взаимодействие между лекарствами и клетками, изменения внутри батарей, которые могут привести к воспламенению, а также химические реакции, происходящие в солнечных батареях, и трансформацию вирусных белков при заражении клеток.

Команда проекта намерена сделать систему ещё более компактной. Они хотят создать лазер, который помещается на столешнице и способен выдавать импульсы множество раз в секунду. Это значительно повысит компактность всего ускорителя и расширит возможности его применения в гораздо более широком диапазоне по сравнению с обычными ускорителями.

Основная доля выручки NVIDIA в размере $14,5 млрд в сегменте оборудования для центров обработки данных в третьем квартале пришлась на продажи специализированных графических ускорителей H100 для ИИ и высокопроизводительных вычислений (HPC). По мнению аналитической компании Omdia, NVIDIA продала в третьем квартале этого года почти полмиллиона ускорителей A100 и H100, а спрос на эти продукты настолько высок, что срок поставок серверов с ними увеличился с 36 до 52 недель.

Источник изображения: NVIDIA

Эксперты Omdia считают, что крупнейшими покупателями графических ускорителей NVIDIA H100 являются компании Meta✴ и Microsoft. По мнению аналитиков, каждая из них закупила по 150 тыс. указанных ускорителей. В свою очередь Google, Amazon, Oracle и Tencent купили по 50 тыс. указанных специализированных ускорителей. Примечательно, что основная часть серверных ускорителей поставляется операторам гипермасштабируемых облачных услуг. В свою очередь, OEM-производители серверов (Dell, Lenovo, HPE) пока не могут забронировать достаточное количество графических процессоров для ИИ и высокопроизводительных вычислений, чтобы выполнить свои заказы на поставки серверов, утверждают специалисты Omdia.

Источник изображения: Omdia

Аналитики полагают, что продажи ускорителей NVIDIA H100 и A100 превысят полмиллиона единиц в четвертом квартале 2023 года. Между тем, спрос на H100 и A100 настолько велик, что срок поставки серверов на базе этих GPU достигает 52 недель. В то же время Omdia сообщает, что в целом объём поставок серверов в 2023 году сократится на 17–20 % по сравнению с прошлым годом, но при этом выручка в этом направлении вырастет на 6–8 % в годовом исчислении.

Следует также отметить, что многие из крупнейших покупателей специализированных ускорителей NVIDIA H100 и A100 сами разрабатывают собственные специализированные GPU для задач ИИ, высокопроизводительных вычислений и графики. Поэтому в перспективе объёмы закупок оборудования у NVIDIA этими компаниями снизятся по мере перехода на собственные решения.

В Omdia также прогнозируют, что рынок серверов в целом вырастет до $195,6 млрд к 2027 году. Одним из драйверов этого роста послужит переход к специализированным серверным системам, в которых будут применяться наборы разнообразных сопроцессоров, предназначенных под конкретные виды задач. Примером уже могут служить серверы компании Amazon для ИИ, в которых применяются 16 специализированных сопроцессоров Inferentia 2, а также серверы кодирования видео компании Google, оснащающиеся 20 специальными VCU или чипами видеокодирования. Компания Meta✴ также последовала этому примеру и выпустила серверы, оснащённые 12 специальными процессорами для обработки видео.

Отмечается, что интерес к использованию специализированных сопроцессоров, оптимизированных для выполнения определённых задач, будет расти по мере внедрения технологий, которые позволят снизить стоимость производства данных чипов. Ключевыми областями применения таких чипов сейчас являются ИИ и медиа, однако в дальнейшем, как ожидается, они также найдут своё применение в сегментах управления базами данных и веб-сервисах.

В рамках конференции Ignite компания Microsoft анонсировала специализированный центральный процессор Cobalt 100, а также специализированный ускоритель вычислений Maia 100. Обе новинки предназначены для ускорения задач, связанных с искусственным интеллектом, а также работой облачных систем.

Источник изображений: Microsoft

Microsoft Azure Cobalt 100 — это 128-ядерный процессор с 64-битным набором инструкций Armv9, предназначенный для использования в облачных серверах. Технических подробностей о чипе Microsoft не привела. Однако компания заявила, что производительность Cobalt 100 до 40 % выше решений на базе Arm, в настоящий момент использующихся в составе серверных систем Microsoft Azure. В процессорах использована платформа Arm Neoverse CSS, адаптированная для Microsoft, предположительно, с ядрами Arm Neoverse N2.

Microsoft активно внедряет различные технологии искусственного интеллекта (ChatGPT от OpenAI и собственный Copilot) во многие свои сервисы и продукты, поэтому компании требуется стабильный доступ к специализированным серверным ускорителям вычислений для соответствующих задач. Для этого компания при поддержке AMD разрабатывала ускорители Athena. В итоге Microsoft сменила их название на Maia 100. Графические чипы в составе этих ускорителей содержат 105 млрд транзисторов и будут производиться с использованием 5-нм техпроцесса TSMC. Microsoft заявляет, что Maia 100 является одной из самых крупных микросхем, производящихся с использованием этого техпроцесса.

В настоящее время Microsoft тестирует Maia 100 с языковой моделью GPT-3.5 Turbo. Компания заявляет, что Maia 100 обеспечивает совокупную пропускную способность 4,8 Тбит на ускоритель. Для объединения этих ускорителей в составе серверов Microsoft используется интерконнект на основе Ethernet.

Для охлаждения Maia 100 компания Microsoft применяет системы жидкостного охлаждения. Поскольку в настоящий момент у Microsoft нет более эргономичных решений, которые могли бы помещаться непосредственно в состав сервера, компания полагается на вспомогательные внешние установки охлаждения, работающие по принципу необслуживаемых СЖО для домашних ПК, только значительно увеличенных в размерах. Охлаждающая жидкость из внешней установки (охладителя) подаётся по трубкам на контактные пластины, установленные на чипы Maia 100, после этого для отвода тепла жидкость двигается обратно во внешнюю вспомогательную систему охлаждения.

Специализированные процессоры Microsoft Azure Cobalt 100 и ИИ-ускорители Microsoft Azure Maia 100 производитель начнёт использовать в своих серверных системах с начала будущего года. Microsoft также продолжит предоставлять услуги своих облачных сервисов Azure на базе решений компаний NVIDIA и AMD.

Акции NVIDIA дорожают десятую биржевую сессию подряд, что является самым продолжительным периодом роста с момента рекордного скачка в декабре 2016 года. В ходе этих сессий ценные бумаги выросли на 20 %, увеличив рыночную стоимость компании примерно на $200 млрд. Вчерашний анонса обновлённого ИИ-ускорителя NVIDIA H200 лишь подстегнул рост — за день акции выросли на 7 %. С начала года акции NVIDIA выросли на 230 %, что сделало их самыми эффективными как в Nasdaq 100, так и в S&P 500.

Источник изображений: NVIDIA

Пока конкуренты изо всех сил пытаются найти альтернативы, чтобы бросить вызов доминированию NVIDIA в области искусственного интеллекта, компания представила новый процессор ИИ под названием H200, который будет использовать память с высокой пропускной способностью (HBM3e), что позволит ему лучше справляться с большими наборами данных, необходимыми для разработки и внедрения ИИ.

«Ускоренный темп запуска продукта H200 в середине 2024 года, вероятно, поможет компании защитить свою территорию, — сказал аналитик Bloomberg Intelligence Кунджан Собхани (Kunjan Sobhani). — Новый процессор искусственного интеллекта оснащён памятью с высокой пропускной способностью и может стать самым производительным графическим процессором на рынке, подняв планку конкуренции».

«В прошлом NVIDIA не обновляла предыдущие графические процессоры для центров обработки данных, — отмечает аналитик Wolfe Research Крис Касо (Chris Caso). — Таким образом, это является ещё одним свидетельством того, что NVIDIA ускоряет темпы выпуска своих продуктов в ответ на рост рынка ИИ и требования к производительности и ещё больше увеличивает свой отрыв от конкурентов».

Предыдущий всплеск роста акций NVIDIA произошёл на фоне общего восстановления акций технологических компаний в свете надежд на стабилизацию процентных ставок Федеральной резервной системы. NVIDIA, которая в прошлом месяце оказалась под давлением из-за новых правил США, запретивших поставки её передовых чипов в Китай, опубликует полный отчёт о прибылях и убытках 21 ноября.

Компания NVIDIA представила сегодня самый мощный в мире ускоритель вычислений — H200. Он построен на уже знакомой архитектуре NVIDIA Hopper, и фактически представляет собой обновлённую с помощью более скоростной памяти HBM3e версию популярного флагманского ускорителя H100. Новая память позволит ускорителю быстрее работать с огромными объемами данных для генеративного ИИ и высокопроизводительных вычислительных нагрузок.

Источник изображений: NVIDIA

NVIDIA H200 — это первый графический процессор с памятью HBM3e, которая отличается от обычной HBM3 более высокой скоростью. NVIDIA H200 получил 141 Гбайт памяти HBM3e со скоростью 4,8 Тбайт/с, что почти вдвое больше по объему и в 2,4 раза больше по пропускной способности по сравнению с памятью ускорителя прошлого поколения NVIDIA A100. Для сравнения, у H100 имеется 80 Гбайт HBM3 со скоростью 3,35 Тбайт/с, тогда как грядущий ускоритель AMD Instinct MI300X получит 192 Гбайт памяти HBM3 со скоростью 5,2 Тбайт/с.

За счёт апгрейда памяти H200 обеспечит значительный рост производительности в работе уже обученных систем искусственного интеллекта (инференсе). Например, NVIDIA обещает увеличение скорости работы большой языковой модели Llama 2 с 70 млрд параметров в 1,9 раза, по сравнению с H100. А работу обученной модели GPT-3 с 175 млрд параметров новинка ускорит в 1,6 раза.

NVIDIA H200 будет доступна в серверных платах NVIDIA HGX H200 в конфигурациях с четырьмя и восемью ускорителями. Причём новинки совместимы как с аппаратным, так и с программным обеспечением систем HGX H100. Производители серверов, включая ASRock Rack, ASUS, Dell Technologies, Eviden, GIGABYTE, Hewlett Packard Enterprise, Ingrasys, Lenovo, QCT, Supermicro, Wistron и Wiwynn выпустят свои системы с ускорителями H200. В свою очередь Amazon Web Services, Google Cloud, Microsoft Azure и Oracle Cloud Infrastructure станут одними из первых поставщиков облачных услуг, которые со следующего года начнут предлагать инстансы на базе H200.

NVIDIA отмечает, что система HGX H200 с восемью ускорителями обеспечивает производительность более 32 Пфлопс (32 квадриллиона операций в секунду) в вычислениях FP8 для глубокого обучения. Причём такая система обеспечит в сумме 1,1 Тбайт памяти с высокой пропускной способностью для высочайшей производительности в генеративных приложениях ИИ и HPC.

В паре с Arm-процессорами NVIDIA Grace со сверхбыстрым интерфейсом NVLink-C2C H200 образует суперчип GH200 Grace Hopper с HBM3e. Такие интегрированные модули NVIDIA позиционирует в качестве высокопроизводительных решений для работы с приложениями HPC и ИИ гигантского масштаба.

Ещё NVIDIA представила плату Quad GH200 с четырьмя суперчипами GH200, где все ускорители связаны друг с другом посредством NVLink по схеме каждый-с-каждым. Суммарно плата несёт более 2 Тбайт высокоскоростной памяти и 288 ядер Arm, а её производительность достигает 16 Пфлопс в FP8. До конца будущего года суммарная ИИ-производительность систем с GH200, по оценкам NVIDIA, достигнет 200 Эфлопс.

Ускоритель NVIDIA H200 станет доступен со второго квартала 2024 года.

Учёные из США и Австралии создали нейроморфный процессор из множества серебряных нанонитей. Тысячи нанопроводков уложили друг на друга в случайном порядке, и весь этот хаос поместили на группу обычных входных и выходных контактов. Всё вместе превратилось в нейроморфную сеть, которую удалось научить распознавать рукописные цифры с невероятной точностью.

Источник изображения: Zhu et al. / Nature Communications

В процессе подачи входных сигналов на пересечениях тысяч нитей возникли сотни тысяч контактов. В этих контактах стали протекать реакции электрохимической гальванизации и возникло что-то вроде памяти. Для обучения «мозга» учёные воспользовались базой MNIST, которая содержит множество вариантов рукописного написания цифр. Каждое прохождение входных данных сопровождалось множеством переходных процессов в клубке нанонитей. Скорее всего, исследователи даже не выясняли что, где и каким образом работает на результат.

После обучения система стала распознавать рукописные цифры с точностью 93,4 %, о чём рассказано в свежей статье в журнале Nature Communications. Такой искусственный мозг не обладает памятью для более сложной обработки результата. Он работает в режиме онлайн, передавая на выход распознанную информацию, что для ряда приложений будет достаточно. Преимущества решения очевидны — оно копеечное в отличие от ускорителей ИИ баснословной стоимости. То же самое касается потребления энергии для решения прикладной задачи. «Мозг» из нанонитей будет потреблять крайне мало.

Эта разработка Калтеха и Сиднейского университета пока ещё сырая, но потенциал её может быть огромным с учётом простоты изготовления и заявленных возможностей. Как минимум, можно распознавать старые капчи.

В этом месяце американские власти ужесточили ограничения, касающиеся поставок в Китай передовых ускорителей NVIDIA, которые используются для обучения моделей искусственного интеллекта и высокопроизводительных вычислений. Теперь же стало известно, что чиновники рассматривают возможность ограничения доступа компаний из Китая к вычислительным мощностям облачных сервисов компаний из США.

Источник изображения: NVIDIA

Новые ограничения США затронули ускорители A800 и H800, представляющие собой модифицированные версии A100 и H100, поставка которых в Китай была запрещена ещё в прошлом году. В дополнение к этому, под запрет попали ускорители L40/L40S и игровые видеокарты RTX 4090. Несмотря на это, компании из Поднебесной всё ещё могут использовать мощности облачных сервисов, таких как Amazon Web Services и Microsoft Azure, для обучения ИИ-моделей и выполнения других задач, требующих высокой производительности. По сообщениям сетевых источников, американские власти рассматривают вариант блокировки этой возможности. При этом отмечается, что американские власти не могут заблокировать доступ к облачным сервисам, не находящимся на территории США.

По словам Алана Эстевеса (Alan Estevez), заместителя министра торговли США по вопросам промышленности и безопасности, власти изучают вопрос введения дополнительных ограничений, которые закроют Китаю доступ к американским облачным сервисам. Этот вопрос, по его словам, изучается на фоне опасений США по поводу способности Поднебесной использовать ИИ-технологии в военных целях. «Мы рассматриваем вопрос о том, как лучше всего это контролировать, если это возможно, и это требует консультаций с промышленностью. Облачные технологии достаточно широко распространены<…> Теперь и сам искусственный интеллект достаточно широко распространён. Беспокойство вызывает то, что ИИ в будущем, вероятно, будет командовать и управлять военной логистикой, военными радарами и повысит возможности радиоэлектронной борьбы. Поэтому мы хотим быть уверены, что контролируем его использование», — заявил Эстевес в беседе с журналистами.

Подробно рассказывая о планируемых ограничениях, Эстевес отметил, что необходимо добросовестно подходить к решению данного вопроса, в том числе проводя консультации с представителями отрасли. Это важно для разработки стратегии, которая уравновесит адекватный нормативный контроль, не препятствуя при этом промышленным инновациям и развитию отрасли.

Источник отмечает, что у плана США есть существенный недостаток, поскольку американские власти не могут запретить компаниям из Китая использовать сервисы в других странах. В Европе и на Ближнем Востоке существуют крупные облачные сервисы, которые, в случае введения новых ограничений со стороны США, смогут использоваться китайскими компаниями вместо AWS и Azure.

Компания IBM сообщила, что завершила испытания нового прототипа процессора для задач искусственного интеллекта. Новая разработка под кодовым именем NorthPole показала себя в 4000 раз лучше предыдущей ИИ-архитектуры компании под именем TrueNorth и «умопомрачительно» превзошла все самые передовые центральные и графические процессоры.

Процессор IBM NorthPole на PCIe-карте. Источник изображения: IBM

Чип NorthPole изготовлен по 12-нм техпроцессу и содержит 22 млрд транзисторов на площади 800 мм². Это фактически «сеть на чипе» — в этом процессоре сосредоточено 256 ядер с разветвленным интерфейсом и встроенной памятью. Именно за счёт встроенной в чип памяти удалось добиться самых лучших в индустрии показаний по энергоэффективности, снижению задержек и эффективной площади.

За один такт процессор NorthPole выполняет 2048 операций на каждое ядро (с 8-битной точностью). Для 4- и 2-битной точности количество выполняемых операций, соответственно, удваивается и учетверяется. Подобная способность нацелена, прежде всего, на обработку изображений. Точнее — для цифрового машинного зрения, а это автопилоты, автохирурги и прочее.

Узким местом архитектуры фон-Неймана было и остаётся разделение памяти и процессора. Разработчики IBM преодолели это препятствие, когда создали процессор, который хранит все данные в самом себе, не пересылая их во внешние запоминающие устройства.

Тестирование на модели ResNet50, а это 50-слойная нейронная сеть для проверки решений для распознавания и классификации изображений, показало, что энергоэффективность чипа NorthPole в 25 раз выше, чем энергоэффективность обычных 12-нм графических процессоров и 14-нм центральных процессоров. Также в 22 раза лучше оказались показатели по задержкам, которые были меньше у чипа IBM. Разработчики назвали это «умопомрачительным» результатом. Наконец, с точки зрения используемой площади чипа (числа транзисторов), архитектура IBM также превзошла всех конкурентов, включая даже 4-нм GPU.

Стремясь сохранить своё лидерство в области ускорителей ИИ и высокопроизводительных вычислений (HPC), NVIDIA планирует ускорить разработку новых архитектур графических процессоров и, по сути, вернуться к годовому графику внедрения новых продуктов. Судя по планам, представленным инвесторам, графические процессоры поколения Blackwell должны увидеть свет в 2024 году, а уже в 2025 году на смену ему придёт новая архитектура, пока не имеющая названия и обозначенная как X.

Источник изображения: NVIDIA

До выпуска Blackwell, который ожидается во второй половине следующего года, NVIDIA представит несколько новых продуктов на базе своей актуальной архитектуры Hopper. Ожидается ускоритель H200, созданный на базе H100, а также GH200NVL, предназначенный для работы с большими языковыми моделями (LLM) совместно с процессорами Arm.

В семействе Blackwell в 2024 году NVIDIA, похоже, представит ускоритель вычислений B100 для платформ x86, который придёт на смену H100. Компания также готовит GB200, который предположительно представляет собой преемника для вычислительной системы Grace Hopper, которая объединяет процессор Arm и графический процессор Hopper. И ещё выйдет GB200NVL — решение на базе Arm для обучения и работы c LLM. В планах также представлен продукт B40, предположительно клиентское решение на базе графического процессора для вывода ИИ.

В 2025 году на смену Blackwell придёт архитектура, пока обозначенная буквой X. Аналогично поколению Blackwell будут представлены продукты X100, GX200 и GX200NVL. В потребительском сегменте X40 придёт на смену B40.

На данный момент NVIDIA лидирует на рынке графических процессоров для искусственного интеллекта, но AWS, Google, Microsoft, AMD и другие игроки в области искусственного интеллекта и высокопроизводительных вычислений готовят собственные решения для работы с ИИ, поэтому NVIDIA вынуждена реагировать и вносить корректировки в свои планы.

Сообщается, что для дальнейшего укрепления своих позиций NVIDIA заранее зарезервировала мощности TSMC и приобрела память HBM у всех трёх мировых производителей. Параллельно компания продвигает свои серверы HGX и MGX, стремясь коммерциализировать эти машины и сделать их популярными среди конечных пользователей, особенно в сегменте корпоративного искусственного интеллекта.

Microsoft вскоре может представить собственный ускоритель для систем искусственного интеллекта, выяснило издание The Information. Софтверный гигант включился в работу над этим проектом, чтобы сократить расходы и снизить зависимость от NVIDIA, которая остаётся крупнейшим поставщиком таких компонентов. Презентация чипа от Microsoft может состояться на конференции разработчиков в ноябре.

ИИ-процессор Microsoft, как сообщается, будет ориентирован на работу в серверном сегменте — компания включит его в пакетные предложения для клиентов. Тестированием чипа занимались подразделения в OpenAI и самой Microsoft, которая взяла на себя финансовую нагрузку проекта. Ранее стало известно, что разработку собственных ускорителей рассматривает и сама OpenAI, в том числе изучая возможность поглощения одной из профильных компаний.

Сложившееся положение вещей таково, что ни один из поставщиков ещё не может сравниться с NVIDIA: на рынке ИИ-ускорителей её доля, по некоторым оценкам, составляет около 80 %. И крупнейших игроков в отрасли ИИ это не устраивает: собственные проекты разрабатывают Amazon и Google, и, видимо, к ним готова подключиться Microsoft.

Важнейшей проблемой, касающейся NVIDIA как крупнейшего поставщика ИИ-ускорителей, является тот факт, что компания не справляется со своей задачей: спрос на рынке превышает предложение, несмотря на то, что и NVIDIA значительно нарастила производство, и AMD выпустила собственные модели. Тем временем глава OpenAI Сэм Альтман (Sam Altman) открыто выражал обеспокоенность по поводу дефицита ускорителей. По оценкам TrendForce, только в 2020 году OpenAI для обучения модели GPT требовались 20 тыс. ускорителей NVIDIA A100, а для поддержки коммерческой работы ChatGPT необходимо увеличить их число до 30 тыс. Microsoft связана обязательствами закупать ускорители NVIDIA, но разработка софтверным гигантом собственного чипа способна изменить правила игры в отрасли.

Вице-президент по инфраструктуре Meta✴ Алексис Блэк Бьорлин (Alexis Black Bjorlin), курирующая направление, связанное с разработкой фирменных чипов Meta✴ для систем искусственного интеллекта, в конце месяца оставит свою должность. Об этом сообщает Reuters со ссылкой на два собственных источника.

Источник изображения: Maxence Pira / unsplash.com

Блэк Бьорлин, являющаяся выходцем из Broadcom и Intel, присоединилась к Meta✴ в декабре 2021 года и была назначена главой подразделения, которому было поручено разработать ускоритель для выполнения задач, связанных с алгоритмами ИИ. Проект реализуется в рамках стратегии по модернизации центров обработки данных компании — сейчас ей необходимы ресурсы для работы чат-ботов и генераторов изображений. Блэк Бьорлин оставит свою должность в конце месяца, но как минимум в ближайшее время останется работать в компании, передаёт один из источников издания. Её место займёт вице-президент Meta✴ по инженерным вопросам Йи Цзюн Сон (Yee Jiun Song).

Накануне Meta✴ представила новые продукты на базе генеративного ИИ, в том числе чат-бот, выводящий как текстовые ответы, так и изображения. Для разработки и реализации этих и других функций компания модернизирует свои ЦОД и проектирует суперкомпьютеры с ускорителями NVIDIA. Разработка собственных чипов поможет Meta✴ снизить расходы и зависимость от сторонних поставщиков.

NVIDIA получает до 1000 % выручки с каждого проданного специализированного графического ускорителя H100, предназначенного для задач, связанных с искусственным интеллектом. Об этом утверждает журналист издания Barron Тэ Ким (Tae Kim), ссылающийся на анализ консалтинговой компании Raymond James.

Источник изображения: NVIDIA

В настоящий момент стоимость каждого ускорителя NVIDIA H100 в зависимости от региона продаж и поставщика в среднем составляет $25–30 тыс. При этом речь идёт о менее дорогой PCIe-версии указанного решения. По оценкам Raymond James, стоимость использующегося в этом ускорителе графического процессора, а также дополнительных материалов (печатной платы и других вспомогательных элементов) составляет $3320. К сожалению, Ким не уточняет глубину анализа расчёта стоимости и не поясняет, включены ли в этот показатель такие факторы, как затраты на разработку, зарплата инженеров, а также стоимость производства и логистики.

Разработка специализированных ускорителей требует значительного времени и ресурсов. По данным того же портала Glassdoor, средняя зарплата инженера по аппаратному обеспечению в NVIDIA составляет около $202 тыс. в год. Речь идёт только об одном инженере, но очевидно, что при разработке тех же H100 работала целая команда специалистов, а на саму разработку были затрачены тысячи рабочих часов. Всё это должно учитываться в конечной стоимости продукта.

И всё же очевидно, что сейчас NVIDIA в вопросе поставок аппаратных средств для ИИ-вычислений находится вне конкуренции. На специализированные ускорители «зелёных» сейчас такой спрос, что они распродаются ещё задолго до того, как попадают на условные полки магазинов. Поставщики говорят, что очередь за ними растянулась до второго квартала 2024 года. А с учётом последних оценок аналитиков, согласно которым к 2027 году рынок ИИ-вычислений вырастет до $150 млрд, ближайшее будущее NVIDIA видится точно безбедным.

С другой стороны, для рынка в целом высокий спрос на ускорители ИИ-вычислений имеет свои негативные последствия. В последних отчётах аналитиков говорится, что продажи традиционных серверов (HPC) в глобальном масштабе сокращаются. Основная причина падения спроса заключается в том, что гиперскейлеры и операторы ЦОД переключают внимание на системы, оптимизированные для ИИ, в которых используются решения вроде NVIDIA H100. По этой причине тем же производителям памяти DDR5 пришлось пересмотреть свои ожидания относительно распространения нового стандарта ОЗУ на рынок, поскольку операторы ЦОД сейчас активно инвестируют именно в ускорители ИИ, а не в новый стандарт оперативной памяти. На фоне этого ожидается, что уровень внедрения DDR5 достигнет паритета с DDR4 только к третьему кварталу 2024 года.

Компания NVIDIA в рамках конференции SIGGRAPH 2023 представила вычислительную платформу GH200 Grace Hopper SuperChip нового поколения, представляющую собой двухчиповую систему из центрального и графического процессоров. Она послужит для построения НРС-систем и ИИ-платформ. В её основе используется новое поколение суперчипа NVIDIA Grace, оснащённого набортной высокопроизводительной памятью HBM3e, обеспечивающей доступ к информации со скоростью 5 Тбайт/с.

Источник изображения: NVIDIA

По словам NVIDIA, платформа GH200 Grace Hopper SuperChip нового поколения значительно превосходит по производительности своего предшественника. Один сервер на платформе GH200 Grace Hopper с двумя новыми суперчипами (то есть с двумя парами GPU+CPU) сможет предложить наличие 144 ядер Arm Neoverse, работающих в тандеме с 282 Гбайт передовой набортной высокопроизводительной памяти HBM3e. Такая конфигурация обеспечивает в 3,5 раза больше памяти и в три раза больше пропускной способности, чем предшественник. Производительность подобной платформы с парой суперчипов составляет 8 петафлопс.

«Для удовлетворения растущего спроса на генеративный ИИ центрам обработки данных требуются вычислительные платформы с особыми возможностями. Этот вопрос готова решить новая платформа GH200 Grace Hopper SuperChip, в которой применяется технология набортной памяти HBM3e с повышенной пропускной способностью. Она предлагает возможность объединения нескольких GPU для объединения производительности, а также позволяет создавать серверные системы, которые можно легко развернуть в любом месте центра обработки данных», — прокомментировал глава NVIDIA Дженсен Хуанг (Jensen Huang).

Суперчип Grace Hopper, лежащий в основе новой платформы, может быть объединён с такими же суперчипами с помощью шины NVIDIA NVLink. Эта высокоскоростная технология предоставляет графическому процессору полный доступ к памяти центрального процессора, обеспечивая суммарно 1,2 Тбайт быстрой памяти в случае конфигурации с двумя суперчипами. Это позволяет развёртывать крупномасштабные вычислительных системы, необходимые для решения комплексных задач, связанных с генеративными ИИ.

Память стандарта HBM3e, использующаяся в составе платформы GH200 Grace Hopper SuperChip нового поколения, обладает на 50 % более высокой производительностью по сравнению с HBM3 и обеспечивает совокупную пропускную способность на уровне 10 Тбайт/с в системе с несколькими платформами GH200 Grace Hopper SuperChip. Это позволяет платформе запускать в 3,5 раза более крупные ИИ-модели и обеспечивает значительный прирост общей производительности за счёт увеличенной в три раза пропускной способности памяти по сравнению с предшественником.

В NVIDIA отмечают, что на фоне растущего спроса на платформу Grace Hopper ведущие производители уже начали предлагать системы, построенные на базе суперчипа Grace Hopper. Новая платформа Grace Hopper SuperChip следующего поколения с памятью HBM3e полностью совместима со спецификациями серверной модульной архитектуры NVIDIA MGX, которая была представлена на выставке Computex 2023. Такая совместимость гарантирует, что любой производитель серверных решений сможет быстро и с минимальными затратами интегрировать Grace Hopper в более чем 100 вариантов серверов, представленных на рынке.

Внедрние новой платформы NVIDIA ведущими производителями серверных систем начнётся во втором квартале 2024 года.

На днях на Берлинском саммите инициативы Earth Virtualization Engines генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) рассказал специалистам по цифровому моделированию климата об инструментах и методах, которые компания предлагает в этой области, с которыми им придётся работать в ближайшие годы. Иллюстрацией прорыва в климатологии стал сгенерированный в облаке платформы NVIDIA «мультик» виртуального полёта с уровня выше облаков на улицы Берлина.

Источник изображений: NVIDIA

Не секрет, что NVIDIA готовит предсказательную климатологическую платформу и, в целом, создаёт цифрового двойника Земли в проекте Earth-2. Для компании было бы удачным, если бы другие аналогичные проекты использовали её аппаратное и программное обеспечение. Дженсен Хуанг уверен, что международная инициатива Earth Virtualization Engines получит значительный импульс в развитии, если воспользуется тремя «чудесами» NVIDIA: высокой скоростью моделирования климата с разрешением порядка 2 км²; способностью предварительной обработки «огромного» количества данных; и возможностью интерактивной визуализации данных на платформе NVIDIA Omniverse.

Данные надо подать в максимально понятной и простой форме, уверяет глава NVIDIA, чтобы политики, бизнесмены, компании и исследователи могли строить свои стратегии на основе чёткого понимания проблемы. Графические процессоры NVIDIA и соответствующие климатологические платформы компании это обеспечивают.

Все три объявленных «чуда» возможны в скором времени на масштабируемой аппаратной платформе с использованием ускорителей NVIDIA GH200 Grace Hopper. Они обеспечивают до 10 раз более высокую производительность для приложений, работающих с терабайтами данных. Массовое производство процессоров стартовало около месяца назад и приведёт к появлению готовых решений в течение года.

В качестве примера компания показала моделирование температуры в Северной Африке. Глобальная модель прогнозирования погоды FourCastNet компании на основе данных была запущена на фреймворке NVIDIA Modulus с открытым исходным кодом для создания, обучения и тонкой настройки моделей машинного обучения на основе физики. Платформа смогла рассчитать 21-дневные погодные траектории для 1000 отдельных компонентов за десятую часть времени, которое ранее требовалось для расчёта каждого компонента, и с в 1000 раз меньшим потреблением энергии.

«Для участников саммита Хуанг продемонстрировал потрясающую интерактивную визуализацию глобальных климатических данных в облаке с высоким разрешением, увеличивая масштаб от вида земного шара до детального вида Берлина. По словам Хуанга, этот подход может работать для прогнозирования климата и погоды в таких разных местах, как Берлин, Токио и Буэнос-Айрес», — говорится в блоге компании.

«Эти новые типы суперкомпьютеров только появляются, — сказал Хуанг. — Это настолько свежая вычислительная технология, насколько вы можете себе представить».