Сегодня 25 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

ИИ обойдётся без Nvidia: Amazon выпустила системы на чипах Trainium2, а через год выйдут Trainium3

Подразделение Amazon Web Services (AWS) компании Amazon объявило на проводимой им конференции re:Invent, что клиенты её облачной платформы теперь могут пользоваться системами с ускорителями Trainium2, предназначенными для обучения и запуска больших языковых моделей искусственного интеллекта.

 Источник изображения: aws.amazon.com

Источник изображения: aws.amazon.com

Представленные в прошлом году чипы работают в четыре раза быстрее предшественников: один инстанс EC2 с 16 ускорителями Trainium2 предлагает производительность до 20,8 Пфлопс. Это значит, что при развёртывании масштабной модели Meta Llama 405B на платформе Amazon Bedrock клиент получит «трёхкратный прирост скорости генерации токенов по сравнению с другими доступными предложениями крупных облачных провайдеров». Можно будет также выбрать систему EC2 Trn2 UltraServer с 64 ускорителями Trainium2 и производительностью 83,2 Пфлопс. Отмечается, что показатель 20,8 Пфлопс относится к плотным моделям и точности FP8, а 83,2 Пфлопс — к разреженным моделям и FP8. Для связи между ускорителями в системах UltraServer используется интерконнект NeuronLink.

Совместно со своим партнёром в лице Anthropic, основным конкурентов OpenAI в области больших языковых моделей, AWS намеревается построить крупный кластер систем UltraServer с «сотнями тысяч чипов Trainium2», где стартап сможет обучать свои модели. Он будет в пять раз мощнее кластера, на котором Anthropic обучала модели текущего поколения — по оценке AWS, он «станет крупнейшим в мире вычислительным кластером для ИИ, о котором сообщалось до настоящего времени». Проект поможет компании превзойти показатели, которые обеспечиваются актуальными ускорителями Nvidia, которые по-прежнему пользуются высоким спросом и остаются в дефиците. Хотя в начале следующего года Nvidia готовится запустить ускорители нового поколения Blackwell, которые при 72 чипах на стойку предложат до 720 Пфлопс для FP8.

Возможно, поэтому AWS уже сейчас анонсировала ускорители нового поколения Trainium3, которые предлагают ещё один четырёхкратный прирост производительности для систем UltraServer — ускорители будут производиться с использованием техпроцесса 3 нм, а их развёртывание начнётся в конце 2025 года. Потребность в системах нового поколения в компании обосновали тем, что современные модели ИИ по масштабам подходят к триллионам параметров. Инстансы Trn2 пока доступны только в регионе US East инфраструктуры AWS, но скоро появятся и в других; системы UltraServer в настоящее время работают в режиме предварительного доступа.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: The Midnight Walk — из искры разгорится пламя. Рецензия 22 мин.
Новая статья: Gamesblender № 727: «правильные» обзоры RTX 5060, два города в сиквеле Cyberpunk и ремастер Syberia 45 мин.
Немецкий суд постановил, что на сайтах должна быть кнопка для отказа от всех файлов cookie сразу 4 ч.
Пожар в дата-центре, арендованном Маском, парализовал работу соцсети X 5 ч.
Новая статья: Doom: The Dark Ages — король по праву. Рецензия 24-05 00:10
База с данными 184 млн аккаунтов Apple, Google, Microsoft и других сервисов лежала в Сети просто так 23-05 23:48
Настоящий детектив, обвинения невиновных и запугивание врагов: подробности ролевой игры Warhammer 40,000: Dark Heresy от создателей Rogue Trader 23-05 22:07
Microsoft готовит «бету» Gears of War: Reloaded, но никому об этом не сказала — тестовая версия ремастера засветилась в базе данных Steam 23-05 20:16
Konami показала вступление Metal Gear Solid Delta: Snake Eater с новой версией легендарной песни 23-05 19:15
SteamOS получила официальную совместимость с Legion Go S и другими консолями на платформе AMD 23-05 19:03