Сегодня 25 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → trainium

ИИ обойдётся без Nvidia: Amazon выпустила системы на чипах Trainium2, а через год выйдут Trainium3

Подразделение Amazon Web Services (AWS) компании Amazon объявило на проводимой им конференции re:Invent, что клиенты её облачной платформы теперь могут пользоваться системами с ускорителями Trainium2, предназначенными для обучения и запуска больших языковых моделей искусственного интеллекта.

 Источник изображения: aws.amazon.com

Источник изображения: aws.amazon.com

Представленные в прошлом году чипы работают в четыре раза быстрее предшественников: один инстанс EC2 с 16 ускорителями Trainium2 предлагает производительность до 20,8 Пфлопс. Это значит, что при развёртывании масштабной модели Meta Llama 405B на платформе Amazon Bedrock клиент получит «трёхкратный прирост скорости генерации токенов по сравнению с другими доступными предложениями крупных облачных провайдеров». Можно будет также выбрать систему EC2 Trn2 UltraServer с 64 ускорителями Trainium2 и производительностью 83,2 Пфлопс. Отмечается, что показатель 20,8 Пфлопс относится к плотным моделям и точности FP8, а 83,2 Пфлопс — к разреженным моделям и FP8. Для связи между ускорителями в системах UltraServer используется интерконнект NeuronLink.

Совместно со своим партнёром в лице Anthropic, основным конкурентов OpenAI в области больших языковых моделей, AWS намеревается построить крупный кластер систем UltraServer с «сотнями тысяч чипов Trainium2», где стартап сможет обучать свои модели. Он будет в пять раз мощнее кластера, на котором Anthropic обучала модели текущего поколения — по оценке AWS, он «станет крупнейшим в мире вычислительным кластером для ИИ, о котором сообщалось до настоящего времени». Проект поможет компании превзойти показатели, которые обеспечиваются актуальными ускорителями Nvidia, которые по-прежнему пользуются высоким спросом и остаются в дефиците. Хотя в начале следующего года Nvidia готовится запустить ускорители нового поколения Blackwell, которые при 72 чипах на стойку предложат до 720 Пфлопс для FP8.

Возможно, поэтому AWS уже сейчас анонсировала ускорители нового поколения Trainium3, которые предлагают ещё один четырёхкратный прирост производительности для систем UltraServer — ускорители будут производиться с использованием техпроцесса 3 нм, а их развёртывание начнётся в конце 2025 года. Потребность в системах нового поколения в компании обосновали тем, что современные модели ИИ по масштабам подходят к триллионам параметров. Инстансы Trn2 пока доступны только в регионе US East инфраструктуры AWS, но скоро появятся и в других; системы UltraServer в настоящее время работают в режиме предварительного доступа.

Apple призналась, что использует кастомные ИИ-чипы Amazon, причём не только для ИИ

Не всем разработчикам систем искусственного интеллекта нравится высокая зависимость от аппаратных решений Nvidia. Компания Apple, например, использует для развития собственных систем как свои процессоры семейства M, так и ускорители альтернативных поставщиков, среди которых есть и Amazon. Представители компаний признались в этом на текущей неделе.

 Источник изображения: Amazon

Источник изображения: Amazon

Весьма необычный рассказ о сотрудничестве между технологическими гигантами на таком уровне состоялся на площадке ежегодной конференции AWS Reinvent, проводимой облачным подразделением Amazon. Интересы Apple, как одного из клиентов AWS, на сцене представлял старший директор по машинному обучению и искусственному интеллекту Бенуа Дюпен (Benoit Dupin), который до 2014 года работал как раз в Amazon.

«У нас налажено прочное сотрудничество, а инфраструктура надёжна и позволяет обслуживать наших клиентов по всему миру», — заявил Дюпен о взаимодействии Apple и AWS. Как он добавил, первая из компаний использует инфраструктуру второй на протяжении более десяти лет, чтобы обеспечить работу голосового ассистента Siri, а также сервисов Apple Maps и Apple Music. Поисковые сервисы Apple строила на чипах Amazon Inferentia и Graviton, и переход на них обеспечил повышение эффективности на 40 %.

Собственные языковые модели Apple хочет предварительно обучать на чипах Amazon Trainium2. Как ожидается, это позволит поднять эффективность процесса с точки зрения соотношения производительности и энергозатрат на величину до 50 %. По словам представителей AWS, компания Apple оказалась в числе первых клиентов, приступивших к тестированию процессоров Trainium. Впрочем, из открытых источников известно, что она также применяла для обучения своей системы Apple Intelligence процессоры Google семейства Tensor.

В отличие от ведущих чат-ботов, таких как OpenAI ChatGPT, подход Apple к искусственному интеллекту не основан на больших кластерах на ускорителях Nvidia. Вместо этого Apple использует чип iPhone, iPad или Mac для выполнения максимально возможного числа задач локально на устройстве, а сложные запросы на серверы Apple, использующие её собственные чипы M-серии.


window-new
Soft
Hard
Тренды 🔥
Новая статья: The Midnight Walk — из искры разгорится пламя. Рецензия 4 ч.
Новая статья: Gamesblender № 727: «правильные» обзоры RTX 5060, два города в сиквеле Cyberpunk и ремастер Syberia 5 ч.
Немецкий суд постановил, что на сайтах должна быть кнопка для отказа от всех файлов cookie сразу 8 ч.
Пожар в дата-центре, арендованном Маском, парализовал работу соцсети X 9 ч.
Новая статья: Doom: The Dark Ages — король по праву. Рецензия 24-05 00:10
Настоящий детектив, обвинения невиновных и запугивание врагов: подробности ролевой игры Warhammer 40,000: Dark Heresy от создателей Rogue Trader 23-05 22:07
Microsoft готовит «бету» Gears of War: Reloaded, но никому об этом не сказала — тестовая версия ремастера засветилась в базе данных Steam 23-05 20:16
Konami показала вступление Metal Gear Solid Delta: Snake Eater с новой версией легендарной песни 23-05 19:15
SteamOS получила официальную совместимость с Legion Go S и другими консолями на платформе AMD 23-05 19:03
«Я не я, и лошадь не моя»: главы технокомпаний стали отправлять на встречи с инвесторами своих ИИ-двойников 23-05 18:55