Amazon представила мощные ускорители Trainium2 для обучения больших ИИ-моделей, а также Arm-процессоры Graviton4

Рост спроса на генеративный искусственный интеллект, который зачастую обучается и запускается на специализированных ускорителях на графических процессорах (GPU), во всём мире наблюдается дефицит таких ускорителей. На этом фоне облачные гиганты создают свои чипы. И Amazon сегодня на ежегодной конференции re:Invent продемонстрировала новейшие собственные ускорители для обучения нейросетей — Trainium2. А ещё были представлены серверные процессоры Graviton4.

Источник изображения: Unsplash

Первый из двух представленных чипов, AWS Trainium2, способен обеспечить в четыре раза более высокую производительность и в два раза более высокую энергоэффективность по сравнению с первым поколением Trainium, представленным в декабре 2020 года. Trainium2 будет доступен клиентам Amazon Web Services в инстансах EC Trn2 в кластерах из 16-ти чипов. В решении AWS EC2 UltraCluster клиенты смогут получить в своё распоряжении до 100 000 чипов Trainium2 для обучения больших языковых моделей. К сожалению, Amazon не уточнила, когда Trainium2 станут доступны клиентам AWS, предположив лишь, что это произойдёт «где-то в следующем году».

По заявлению Amazon, 100 000 чипов Trainium2 обеспечат теоретическую вычислительную мощность в 65 Эфлопс (квинтиллионов операций в секунду), что в пересчёте на одно ядро составляет 650 Тфлопс (триллионов операций). Конечно, это лишь теоретические показатели, и стоит брать во внимание факторы, усложняющие расчёты. Однако, если предположить, что одно ядро Trainium2 сможет обеспечивать реальную производительность около 200 Тфлопс, то это значительно превысит возможности чипов того же Google для обучения моделей ИИ.

В Amazon также подчеркнули, что кластер из 100 000 чипов Trainium2 способен обучить большую языковую модель ИИ (LLM – large language model) с 300 миллиардами параметров всего за несколько недель. Раньше на такие задачи уходили месяцы обучения. Отметим, что параметры в парадигме LLM — это элементы модели, полученные на обучающих датасетах и, по сути, определяющие мастерство модели в решении той или иной задачи, к примеру, генерации текста или кода. 300 миллиардов параметров — это примерно в 1,75 раза больше, чем у GPT-3 от OpenAI.

«Чипы лежат в основе всех рабочих нагрузок клиентов, что делает их критически важной областью инноваций для AWS, — отметил в пресс-релизе вице-президент AWS по вычислениям и сетям Дэвид Браун (David Brown). — Учитывая всплеск интереса к генеративному ИИ, Trainium2 поможет клиентам обучать их ML-модели быстрее, по более приемлемой цене и с большей энергоэффективностью».

Слева — процессор Graviton4, справа — ускоритель Trainium2. Источник изображения: Amazon

Второй чип, анонсированный Amazon сегодня — Arm-процессор Graviton4. Amazon утверждает, что он обеспечивает на 30 % более высокую производительность, на 50 % больше ядер и на 75 % более высокую пропускную способность памяти, чем процессор предыдущего поколения Graviton3 (но не более современный Graviton3E), применяемый в облаке Amazon EC2. Таким образом Graviton4 предложат до 96 ядер (но будут и другие конфигурации) и поддержку до 12 каналов оперативной памяти DDR5-5600.

Ещё один апгрейд по сравнению с Graviton3 состоит в том, что все физические аппаратные интерфейсы Graviton4 зашифрованы. По заявлению Amazon, это должно надёжнее защищать рабочие нагрузки клиентов по обучению ИИ и клиентские данные с повышенными требованиями к конфиденциальности.

«Graviton4 — это четвёртое поколение процессоров, которое мы выпустили всего за пять лет, и это самый мощный и энергоэффективный чип, когда-либо созданный нами для широкого спектра рабочих нагрузок, — говорится в заявлении Дэвида Брауна. — Затачивая наши чипы на реальные рабочие нагрузки, которые очень важны для клиентов, мы можем предоставить им самую передовую облачную инфраструктуру».

Graviton4 будет доступен в массивах Amazon EC2 R8g, которые уже сегодня открыты для пользователей в предварительной версии.