Сегодня 11 августа 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

«Больше, чем у кого-либо»: Цукерберг похвастался системой с более чем 100 тыс. Nvidia H100 — на ней обучается Llama 4

Среди американских IT-гигантов зародилась новая забава — соревнование, у кого больше кластеры и твёрже уверенность в превосходстве своих мощностей для обучения больших языковых моделей ИИ. Лишь недавно глава компании Tesla Илон Маск (Elon Musk) хвастался завершением сборки суперкомпьютера xAI Colossus со 100 тыс. ускорителей Nvidia H100 для обучения ИИ, как об использовании более 100 тыс. таких же ИИ-ускорителей сообщил глава Meta Марк Цукерберг (Mark Zuckerberg).

 Источник изображения: CNET/YouTube

Источник изображения: CNET/YouTube

Глава Meta отметил, что упомянутая система используется для обучения большой языковой модели нового поколения Llama 4. Эта LLM обучается «на кластере, в котором используется больше 100 000 графических ИИ-процессоров H100, и это больше, чем что-либо, что я видел в отчётах о том, что делают другие», — заявил Цукерберг. Он не поделился деталями о том, что именно уже умеет делать Llama 4. Однако, как пишет издание Wired со ссылкой на заявление главы Meta, их ИИ-модель обрела «новые модальности», «стала сильнее в рассуждениях» и «значительно быстрее».

Этим комментарием Цукерберг явно хотел уколоть Маска, который ранее заявлял, что в составе его суперкластера xAI Colossus для обучения ИИ-модели Grok используются 100 тыс. ускорителей Nvidia H100. Позже Маск заявил, что количество ускорителей в xAI Colossus в перспективе будет увеличено втрое. Meta также ранее заявила, что планирует получить до конца текущего года ИИ-ускорители, эквивалентные более чем полумиллиону H100. Таким образом, у компании Цукерберга уже имеется значительное количество оборудования для обучения своих ИИ-моделей, и будет ещё больше.

Meta использует уникальный подход к распространению своих моделей Llama — она предоставляет их полностью бесплатно, позволяя другим исследователям, компаниям и организациям создавать на их базе новые продукты. Это отличает её от тех же GPT-4o от OpenAI и Gemini от Google, доступных только через API. Однако Meta всё же накладывает некоторые ограничения на лицензию Llama, например, на коммерческое использование. Кроме того, компания не сообщает, как именно обучаются её модели. В остальном модели Llama имеют природу «открытого исходного кода».

С учётом заявленного количества используемых ускорителей для обучения ИИ-моделей возникает вопрос — сколько электричества всё это требует? Один специализированный ускоритель может съедать до 3,7 МВт·ч энергии в год. Это означает, что 100 тыс. таких ускорителей будут потреблять как минимум 370 ГВт·ч электроэнергии — как отмечается, достаточно для того, чтобы обеспечить энергией свыше 34 млн среднестатистических американских домохозяйств. Каким образом компании добывают всю эту энергию? По признанию самого Цукерберга, со временем сфера ИИ столкнётся с ограничением доступных энергетических мощностей.

Компания Илона Маска, например, использует несколько огромных мобильных генераторов для питания суперкластера из 100 тыс. ускорителей, расположенных в здании площадью более 7000 м2 в Мемфисе, штат Теннесси. Та же Google может не достичь своих целевых показателей по выбросам углерода, поскольку с 2019 года увеличила выбросы парниковых газов своими дата-центрами на 48 %. На этом фоне бывший генеральный директор Google даже предложил США отказаться от поставленных климатических целей, позволив компаниям, занимающимся ИИ, работать на полную мощность, а затем использовать разработанные технологии ИИ для решения климатического кризиса.

Meta увильнула от ответа на вопрос о том, как компании удалось запитать такой гигантский вычислительный кластер. Необходимость в обеспечении растущего объёма используемой энергии для ИИ вынудила те же технологические гиганты Amazon, Oracle, Microsoft и Google обратиться к атомной энергетике. Одни инвестируют в разработку малых ядерных реакторов, другие подписали контракты на перезапуск старых атомных электростанций для обеспечения растущих энергетических потребностей.

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Календарь релизов — 11 – 17 августа: The Scouring, Echoes of the End и ремастер W40K: Dawn of War 32 мин.
Mortal Kombat 1 покорила новую вершину продаж и взяла курс на звание «самой сбалансированной» игры серии 38 мин.
«Займёт своё место в пантеоне "Цивилизаций"»: руководство Take-Two не потеряло веру в Sid Meier’s Civilization VII, несмотря на слабый старт продаж 2 ч.
Россияне пожаловались на массовые сбои при звонках в WhatsApp и Telegram 2 ч.
Бывший президент Blizzard предсказал, что Battlefield 6 «раздавит» Call of Duty: Black Ops 7, и все от этого выиграют 6 ч.
Создатели Delta Force анонсировали хоррор-шутер Crossfire: Rainbow — геймплейный трейлер и первые подробности 7 ч.
Раздача кооперативного боевика Guntouchables в Steam превзошла все ожидания разработчиков, но играют меньше 1 % от скачавших 7 ч.
Ubisoft проговорилась о сериале Far Cry от создателей «Фарго» и «В Филадельфии всегда солнечно» 9 ч.
VI Форум «Мой бизнес» в Архангельске: предприниматели, эксперты и представители власти обсудят рост в новых условиях 10 ч.
«Странно для публичной компании отказываться от лёгких денег»: Electronic Arts забраковала ремейк Dragon Age: Origins и ремастер трилогии 10 ч.
Ford сделает электромобили дешевле — первым на платформе Universal EV станет пикап за $30 000 4 мин.
Hyundai потребовала $65 за устранение уязвимости в системе бесключевого доступа к электромобилю Ioniq 5 17 мин.
«Рикор» представил российские 1U-серверы RS7104 и RS7110 на базе Intel Xeon Ice Lake-SP 19 мин.
«Выглядит как нечто, созданное Apple»: энтузиаст соединил iPad Pro и MacBook Air в полнофункциональный гибрид 2 ч.
Китайские телевизоры захватывают мир — Samsung и LG теряют рынок, пока доли TCL и Hisense растут 3 ч.
Популярный игровой процессор Ryzen 7 5700X3D скоро навсегда исчезнет из магазинов 4 ч.
Огромная видеокарта GeForce RTX 5080 Noctua Edition оказалась самой дорогой RTX 5080 от Asus — за неё просят больше $2000 4 ч.
Одна из самых дорогих RTX 5090: Asus оценила GeForce RTX 5090 ROG Astral OC BTF с разъёмом GC-HPWR в €3084 5 ч.
Xiaomi отгрузила всего 6042 электромобиля YU7, хотя заказы превысили 200 000 единиц за три минуты 6 ч.
Китай развернул антирекламную кампанию против Nvidia H20 7 ч.