В большой лаборатории в штаб-квартире Google в калифорнийском Маунтин-Вью работают сотни серверных стоек, выполняя задачи, отличные от поисковой системы или рабочих нагрузок Google Cloud. Здесь тестируются тензорные процессоры (Tensor Processing Units —TPU), разработанные самой Google. Журналистам CNBC удалось заглянуть внутрь этой лаборатории.

Источник изображения: alban / unsplash.com

TPU от Google появились в 2015 и стали доступны облачным клиентам в 2018 году — они используются, в частности, для обучения моделей Apple Intelligence и Google Gemini. Google была первым поставщиком облачных услуг, который построил собственные чипы для ИИ — Amazon анонсировала свои Inferentia лишь три года спустя, а Microsoft представила Maia лишь в конце 2023 года. Но это первенство не помогло Google стать лидером в гонке генеративного ИИ: Gemini вышла более чем через год после OpenAI ChatGPT. При этом предложения в области ИИ помогли Google Cloud набрать обороты: этот сегмент в компании показал рост на 29 %, а квартальная выручка впервые превысила $10 млрд, гласит последний квартальный отчёт Alphabet.

В Google пришли к мысли о создании собственного чипа, когда в 2014 году задумались, какими должны быть ресурсы, чтобы все пользователи сервисов компании смогли пользоваться голосовым интерфейсом хотя бы 30 секунд в день. Как выяснилось, число компьютеров в центрах обработки данных было необходимо удвоить. Google TPU помог поднять эффективность при выполнении некоторых задач в 100 раз. В компании до сих пор используют и традиционные центральные процессоры, и графические процессоры Nvidia. Но Google TPU — это интегральная схема специального назначения (ASIC), предназначенная только для конкретного типа задач. В распоряжении компании есть ещё один такой чип — Video Coding Unit, и используется он для обработки видео.

Собственные чипы Google по примеру Apple стала использовать и в устройствах своей разработки: в смартфонах Pixel 9 это процессор четвёртого поколения Tensor G4, а в наушниках Pixel Buds Pro 2 — Tensor A1. Но важной отличительной чертой Google является серверный TPU — сейчас он занимает 58 % рынка среди облачных ускорителей ИИ собственной разработки. Графические процессоры Nvidia более гибкие, но и более дорогие и дефицитные в сегодняшних условиях, когда бум ИИ взвинтил акции компании до небес, и теперь она соперничает за звание самой дорогой публичной компании в мире с Apple и Microsoft. Настоящее испытание Google TPU ждёт, когда платформа Apple Intelligence в следующем году начнёт в полную силу работать на iPhone и Mac.

Разработка альтернативы ускорителям Nvidia — почти подвиг. Процесс настолько сложен и дорог, что даже Google не под силу сделать это в одиночку. С момента появления первого TPU компания заручилась поддержкой чипмейкера Broadcom, который помогает Meta✴ в решении той же задачи. Проект полностью разработанного чипа отправляется к полупроводниковому подрядчику — в его роли выступает TSMC, выпускающая 92 % передовой полупроводниковой продукции в мире.

Trillium. Источник изображения: CNBC/Marc Ganley

В этом году у Google выйдет шестое поколение TPU Trillium; кроме того, в минувшем апреле компания анонсировала и Axion — свой первый центральный процессор, который появится в конце года. И здесь Google уже не первая: Amazon выпустила свой Graviton в 2018 году, китайская Alibaba последовала её примеру в 2021 году, а Microsoft представила чип Cobalt 100 в ноябре прошлого года. Все они основаны на архитектуре Arm, более гибкой и энергоэффективной, чем x86, которой привержены Intel и AMD.

Axion CPU. Источник изображения: CNBC/Marc Ganley

Эффективность является важнейшим аспектом: если верить прогнозам, к 2027 году серверы ИИ будут потреблять столько же энергии в год, сколько Аргентина. Последний экологический отчёт Google показал, что выбросы компании с 2019 по 2023 гг. выросли на 50 % — отчасти из-за роста числа ЦОД для ИИ. Для охлаждения серверов для обучения и работы ИИ требуются огромные объёмы воды, поэтому с третьего поколения Google TPU охлаждение производится непосредственно на чипе — к такой же схеме прибегла и Nvidia с новейшими Blackwell. И, несмотря на сопутствующие трудности, оборудование Google для ИИ продолжает пользоваться большим спросом, и его ослабления в компании пока не отмечают.

В рамках конференции Google I/O компания Google представила шестое поколение своего фирменного тензорного процессора (Tensor Processing Unit) с кодовым названием Trillium. Он предназначен для центров обработки данных, ориентированных на работу с искусственным интеллектом. По словам компании, новый чип почти в пять раз производительнее предшественника.

Источник изображения: The Verge

«Промышленный спрос на компьютеры для машинного обучения вырос в миллион раз за последние шесть лет и каждый год продолжает увеличиться в десять раз. Я думаю, что Google была создана для этого момента. Мы являемся новаторами в разработке чипов для искусственного интеллекта уже более десяти лет», — заявил генеральный директор Alphabet Сундар Пичаи (Sundar Pichai) в разговоре с журналистами.

Разрабатываемые Alphabet, материнской компанией Google, специализированные чипы для центров обработки данных, ориентированных на ИИ, представляют собой одну из немногих жизнеспособных альтернатив решениям компании Nvidia. Вместе с программным обеспечением, оптимизированным для работы с тензорными процессорами Google (TPU), эти решения позволили компании занять значительную долю на рынке.

По данным издания Reuters, Nvidia по-прежнему доминирует на рынке чипов для ИИ-дата-центров с долей 80 %. Значительная часть от оставшихся 20 % приходятся на различные версии TPU от Google. В отличие от Nvidia, компания Google не продаёт свои процессоры, а использует их сами и сдаёт в аренду облачные вычислительные платформы, которые на них работают.

Для шестого поколения TPU под названием Trillium компания заявляет прибавку вычислительной производительности в 4,7 раза по сравнению с TPU v5e в задачах, связанных с генерацией теста и медиаконтента с помощью больших языковых моделей ИИ (LLM). При этом Trillium на 67 % энергоэффективнее, чем TPU v5e, отмечают в компании. Как пишет портал TechCrunch, значительного увеличения производительности у Trillium компания смогла добиться благодаря увеличения количества используемых матричных умножителей (MXU), а также повышения тактовой частоты чипа. Кроме того, компания удвоила для Trillium пропускную способность памяти. Более конкретных технических деталей Trillium не приводится.

Вычислительные мощности нового процессора станут доступны для клиентов облачных сервисов Google к «концу 2024 года», отмечают в компании.

Однако от решений Nvidia компания Google не отказывается. В рамках конференции Google I/O также было заявлено, Google станет одним из первых облачных провайдеров, который с начала будущего года будет предлагать облачные услуги на базе специализированных ИИ-ускорителей нового поколения Nvidia Blackwell.

На очередной ежегодной конференции Cloud Next компания Google Cloud объявила о выпуске пятого поколения своих тензорных процессоров (TPU) для обучения нейросетей — TPU v5e. Google анонсировала предыдущую, четвертую версию этих процессоров в 2021 году, но разработчикам они стали доступны только в 2022 году.

Источник изображения: Frederic Lardinois / TechCrunch

Компания отмечает, что при создании новой версии чипа особое внимание уделялось его эффективности. По сравнению с предыдущим поколением, новый процессор обещает двукратное улучшение производительности в пересчёте на доллар для обучения больших языковых моделей (LLM) и генеративных нейросетей, а также 2,5-кратное улучшение производительности по тому же критерию для инференс-систем.

«Это самый экономичный и доступный облачный TPU на сегодняшний день», — заявил на пресс-конференции перед сегодняшним анонсом Марк Ломейер (Mark Lohmeyer), вице-президент и генеральный директор по вычислительной и ML-инфраструктуре Google Cloud.

Источник изображения: Google

В то же время он подчеркнул, что компания не экономила на технических характеристиках TPU v5e в угоду рентабельности. Кластеры могут включать до 256 чипов TPU v5e, объединённых высокоскоростным интерконнектом с совокупной пропускной способностью более 400 Тбит/с. Производительность такой платформы составляет 100 Попс (Петаопс) в INT8-вычислениях.

«Мы предоставляем нашим клиентам возможность легко масштабировать свои модели искусственного интеллекта за пределы физических границ одного модуля TPU или одного кластера TPU. Другими словами, одна большая рабочая нагрузка искусственного интеллекта теперь может распределяться на несколько физических кластеров TPU, масштабируясь буквально до десятков тысяч чипов. При этом работа будет выполняться экономически эффективно. В результате, используя облачные графические процессоры и облачные TPU, мы действительно предоставляем нашим клиентам большой выбор, гибкость и дополнительные возможности для удовлетворения потребностей широкого набора рабочих задач, связанных с ИИ, которые, как мы видим, продолжают множиться», — добавил он.

В дополнение к анонсу нового поколения TPU компания Google также объявила, что в следующем месяце сделает общедоступными для разработчиков виртуальные кластеры A3, оснащённые специализированными графическими процессорами Nvidia H100.

Google рассказала о суперкомпьютерах собственной разработки, которые она использует для обучения систем искусственного интеллекта вроде чат-бота Bard. По версии компании, эти системы быстрее и эффективнее, чем сопоставимые с ними ускорители NVIDIA A100.

Google TPU v4. Источник изображения: Google

Инженеры Google разработали собственный чип Tensor Processing Unit или TPU — такие чипы используются более чем в 90 % задач компании по обучению ИИ, в результате на свет появляются чат-боты, способные общаться почти как человек, и системы, генерирующие изображения. Сейчас компания работает с TPU уже четвёртого поколения — в опубликованной инженерами Google статье рассказывается о суперкомпьютере на базе более чем 4000 таких чипов и оптических линиях связи между компонентами системы.

Обучение большой языковой модели Google PaLM, крупнейшей из тех, о которых компания поведала общественности, производилось при помощи двух суперкомпьютеров на 4000 чипов в течение 50 дней. Суперкомпьютеры располагают механизмами перенастройки соединений между чипами на лету — это помогает избегать сбоев и повышает производительность.

Google только сейчас раскрыла подробности о разработанной её инженерами системе, но отметила, что впервые этот суперкомпьютер был запущен в 2020 году в центре обработки данных в округе Мейс (США, шт. Оклахома). Он, в частности, использовался для обучения ИИ Midjourney — эта нейросеть генерирует изображения по текстовому описанию. По версии Google, её чип TPU четвёртого поколения в 1,7 раза быстрее и в 1,9 раза энергоэффективнее вышедшего одновременно с ним на рынок ускорителя NVIDIA A100. С моделью H100 сравнение не производилось — она вышла на рынок позже, и в её основе лежат более современные технологии. Однако в компании намекнули, что, возможно, работают над новым TPU, способным конкурировать и с H100.