Сегодня 22 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Alibaba нашла способ сократить потребность в количестве используемых ускорителей Nvidia на 82 %

Нехватка вычислительных мощностей, присущая динамично развивающемуся рынку искусственного интеллекта, в Китае усугубляется ограничениями на импорт специализированных ускорителей. Разработчики вынуждены заниматься оптимизацией, и Alibaba нашла способ сократить количество необходимых ускорителей Nvidia для работы своих языковых моделей на 82 %.

 Источник изображения: Nvidia

Источник изображения: Nvidia

Как поясняет South China Morning Post, бета-тестирование профильной системы Aegaeon уже проводится одним их подразделений Alibaba Cloud на протяжении более чем трёх месяцев. По информации, представленной Alibaba на мероприятии SOSP в столице Южной Кореи, данная система позволила сократить количество обслуживающих десятки языковых моделей ускорителей Nvidia H20 с 1192 до 213 штук. При этом соответствующие языковые модели используют до 72 млн параметров, как поясняет источник.

Представителям Alibaba в создании такой системы помогали учёные Пекинского университета, которые назвали её «первой попыткой выявить излишние затраты, связанные с одновременным обслуживанием нагрузок с большими языковыми моделями». Провайдеры облачных услуг типа Alibaba сталкиваются с необходимостью одновременного обслуживания тысяч ИИ-моделей, но в сфере инференса наиболее часто используются лишь несколько моделей типа Qwen или DeepSeek, а прочие вызываются довольно редко. Это приводит к нерациональному расходованию ресурсов. В экосистеме Alibaba Cloud, например, до 17,7 % ускорителей выделяются для обработки 1,35 % запросов.

Исследователи во всём мире начали предлагать повысить эффективность использования вычислительных ресурсов за счёт объединения в пулы, когда один GPU обслуживает несколько моделей. Система Aegaeon использует автомасштабирование на уровне токенов, позволяющее GPU переключаться между разными моделями прямо в процессе генерирования токенов. Один GPU в результате способен обрабатывать до семи моделей, тогда как в альтернативно устроенных системах их количество в лучшем случае достигает двух или трёх. Задержки, необходимые на переключение между моделями, при этом сократились на 97 % в случае с Aegaeon.

Alibaba эту систему испытывает на маркетплейсе моделей Bailian, который предлагает модели Qwen корпоративным пользователям. Ускорители Nvidia H20 одноимённой американской компанией были созданы специально для китайского рынка, в апреле они попали под временный запрет на поставку в КНР, но к лету он был снят. Однако, китайские власти начали настоятельно рекомендовать национальным разработчикам отдавать предпочтение местной компонентной базе. В результате позиции Nvidia на китайском рынке передовых чипов для ИИ, по словам руководителя компании, буквально сократились до нуля.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Cop Bastard — симулятор крутого парня. Рецензия 16 ч.
Персонажи с памятью и миры под управлением ИИ — Ubisoft создала Motherbrain для внедрения ИИ в игры 21-11 14:38
Из систем суперкомпьютера Fugaku украдены сотни закрытых ключей для доступа к другим суперкомпьютерам и облакам 21-11 14:24
Биткоин рухнул до двухлетнего минимума — от рекордных $126 000 не осталось и половины 21-11 10:53
Новая статья: Tanuki: Pon’s Summer — самая очаровательная версия Японии. Рецензия 21-11 00:04
Запуск GTA VI установил абсолютный рекорд индустрии развлечений — 32 миллиона проданных копий и $3,79 миллиарда выручки 20-11 23:48
В Steam выйдет самое полное издание «Дальнобойщиков 3: Покорение Америки» с поддержкой русского языка и недоступным прежде контентом 20-11 22:11
«Включить Bluetooth», «убрать звук», «тёмный режим»: поиск Windows 11 превратился в пульт управления ПК 20-11 21:24
Anthropic заявила о доказательстве гипотезы Римана с помощью ИИ — одной из главных загадок математики, над которой бились 167 лет 20-11 20:17
Аналитики: стартовые продажи GTA VI стали лучшими в истории индустрии развлечений и уже принесли Rockstar более двух миллиардов долларов 20-11 19:57
У Китая заканчиваются деньги на ИИ: местным разработчикам всё труднее догонять американских конкурентов 3 ч.
Восемь лет и девять гравитационных манёвров — BepiColombo выходит на орбиту Меркурия 22 ч.
Трамп надумал брать налоги с зарубежных ЦОД американских компаний 21-11 14:51
Everpure отчиталась о рекордной выручке и повысила прогноз на год 21-11 14:21
«Аладдин» представил Aladdin LiveTSM — сертифицированное средство доверенной загрузки для Windows и Linux 21-11 14:12
«Было установлено, что он лгал» — вот почему Хуанга уволили из Nvidia 21-11 10:16
Махинации в бухгалтерии Nvidia заинтересовали Комиссию по ценным бумагам и биржам США 21-11 09:56
Micron собралась поставить память прямо на процессоры — многослойная DRAM появится в 2028–2029 годах 21-11 00:30
Фотонные сопроцессоры Q.ANT NPU Gen 2+ ускорят работу ИИ 20-11 21:46
Valve предупредила, что Steam Machine может стать дефицитной и подорожать, —  и объяснила почему 20-11 21:45