Сегодня 28 февраля 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Google представила свой самый быстрый ИИ-ускоритель — Cloud v5p

Сегодня Google объявила о запуске новой большой языковой модели Gemini. Вместе с ней компания представила свой новый ИИ-ускоритель Cloud TPU v5e (Tensor processing unit — тензорный процессор). Кластер на базе новых TPU состоит из 8960 чипов v5p и оснащён самым быстрым интерконнектом Google — скорость передачи данных может достигать 4800 Гбит/с на чип.

 Источник изображений: Google

Источник изображений: Google

Cloud TPU v5e оснащён 95 Гбайт памяти HBM3 с пропускной способностью 2765 Гбайт/с. Производительность в целочисленных операциях INT8 составляет 918 TOPS (триллионов операций в секунду), тогда как производительность в вычислениях на числах с плавающей запятой BF16 составляет 459 Тфлопс.

 Источник изображения: Google

Google утверждает, что новые чипы значительно быстрее, чем образец предыдущего поколения TPU v4. Новый Cloud TPU v5p предложит двукратное увеличение производительности в операциях с плавающей запятой (FLOPS) и трёхкратное увеличение объёма памяти с высокой пропускной способностью.

По словам Google, новые ускорители TPU v5p способны обучать большие языковые модели, например GPT-3 со 175 млрд параметров, в 2,8 раза быстрее, чем TPU v4, и при этом с меньшими затратами энергии. Более того, благодаря второму поколению SparseCore, TPU v5p может обучать embedding-dense модели в 1,9 раза быстрее, чем TPU v4. Помимо повышения производительности, TPU v5p обеспечивает вдвое более высокий уровень масштабируемости, чем TPU v4, что в сочетании с удвоением производительности обеспечивает в четыре раза больше Флопс на кластер.

Что интересно, по производительности на доллар v5p слегка проигрывает представленным недавно ускорителям TPU v5e. Однако последние можно собирать в кластеры лишь до 256 чипов, а один чип обеспечит лишь 197 Тфлопс в BF16 против 275 Тфлопс у TPU v4 и 459 Тфлопс у TPU v5p.

 Источник изображения: Google

«На ранней стадии использования Google DeepMind и Google Research демонстрировали двукратное ускорение рабочих нагрузок по обучению LLM на основе чипов TPU v5p по сравнению с производительностью, снятой с чипов текущего поколения TPU v4, – пишет Джефф Дин (Jeff Dean), главный научный сотрудник Google DeepMind и Google Research. – Широкая поддержка ML-фреймворков, таких как JAX, PyTorch, TensorFlow, и инструментов оркестровки позволят нам ещё эффективнее масштабироваться, используя чипы v5p. Благодаря второму поколению SparseCore мы также видим значительное улучшение производительности рабочих нагрузок при выполнении встраиваний. TPU жизненно важны для обеспечения наших самых масштабных исследований и инженерных работ на передовых моделях, таких как Gemini».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Возвращение к корням, аналог Call of Duty: Warzone и релиз в 2025 году: инсайдер раскрыл новые детали следующей Battlefield 13 мин.
Google объяснила, как Wear OS 4 значительно повышает время автономной работы смарт-часов 6 ч.
Еженедельный чарт Steam: новинки заняли почти половину топ-10, а Elden Ring вернулась в тройку лидеров после открытия предзаказа DLC 12 ч.
ВТБ переведёт десятки тысяч рабочих мест на отечественную ОС Astra Linux 13 ч.
Инсайдер раскрыл главную игру мартовской подборки PS Plus за день до официального анонса 13 ч.
Sony отменила новую Twisted Metal 14 ч.
Сегодняшний сбой в Рунете объяснили проверкой спецслужб и настройкой шлюзов Роскомнадзора 15 ч.
Покемоны следующего поколения: анонсирована Pokemon Legends: Z-A для «систем семейства Nintendo Switch» 15 ч.
Qualcomm представила AI Hub — «инструмент мечты» для создания ИИ-приложений, работающих локально 16 ч.
PlayStation объявила о массовых сокращениях — увольнение 900 сотрудников, закрытие внутренней студии Sony, отмена игр 16 ч.