Сегодня 22 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Учёные нашли способ запускать большие ИИ-модели на системах мощностью 13 Вт, вместо 700 Вт

Исследователи из Калифорнийского университета в Санта-Круз разработали метод, позволяющий запускать большие языковые модели искусственного интеллекта (LLM) с миллиардами параметров при значительно меньшем потреблении энергии, чем у современных систем.

 Источник изображения: Stefan Steinbauer/Unsplash

Источник изображения: Stefan Steinbauer/Unsplash

Новый метод позволил запустить LLV с миллиардами параметров при энергопотреблении системы всего в 13 Вт, что эквивалентно потреблению бытовой светодиодной лампы. Это достижение особенно впечатляет на фоне текущих показателей энергопотребления ИИ-ускорителей. Современные графические процессоры для центров обработки данных, такие как Nvidia H100 и H200, потребляют около 700 Вт, а грядущий Blackwell B200 вообще может использовать до 1200 Вт на один GPU. Таким образом, новый метод оказывается в 50 раз эффективнее популярных сегодня решений, пишет Tom's Hardware.

Ключом к успеху стало устранение матричного умножения (MatMul) из процессов обучения. Исследователи применили два метода. Первый — это перевод системы счисления в троичную, использующую значения -1, 0 и 1, что позволило заменить умножение на простое суммирование чисел. Второй метод основан на внедрении временных вычислений, при котором сеть получила эффективную «память», позволившую работать быстрее, но с меньшим количеством выполняемых операций. Работа проводилась на специализированной системе с FPGA, но исследователи подчёркивают, что большинство их методов повышения эффективности можно применить с помощью открытого программного обеспечения и настройки уже существующих на сегодня систем.

Исследование было вдохновлено работой Microsoft по использованию троичных чисел в нейронных сетях, а в качестве эталонной большой модели учёные использовали LLaMa от Meta. Рюдзи Чжу (Rui-Jie Zhu), один из аспирантов, работавших над проектом, объяснил суть достижения в замене дорогостоящих операций на более дешёвые. Хотя пока неясно, можно ли применить этот подход ко всем системам в области ИИ и языковых моделей в качестве универсального, потенциально он может радикально изменить ландшафт ИИ.

Немаловажно, что учёные открыли исходный код своей разработки, что позволит крупным игрокам рынка ИИ, таким как Meta, OpenAI, Google, Nvidia и другим беспрепятственно воспользоваться новым достижением для обработки рабочих нагрузок и создания более быстрых и энергоэффективных систем искусственного интеллекта. В конечном итоге это приведёт к тому, что ИИ сможет полнофункционально работать на персональных компьютерах и мобильных устройствах, и приблизится к уровню функциональности человеческого мозга.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Deltarune — сила в добре. Рецензия 46 мин.
20 минут геймплея The Blood of Dawnwalker — амбициозной вампирской RPG от ведущих разработчиков The Witcher 3 и Cyberpunk 2077 2 ч.
Новая статья: Gamesblender № 731: процессор AMD в следующей Xbox, анонс ремейка Silent Hill и худшая игра года 2 ч.
В драйвере ISA-звуковой карты Creative Sound Blaster AWE32 исправили ошибку, найденную 25 лет назад 2 ч.
Би-би-си угрожает Perplexity судом из-за нарушения авторских прав при обучении нейросетей 3 ч.
Китайская MiniMax представила ИИ-модель M1 — её обучение обошлось в 200 раз дешевле GPT-4 5 ч.
Акционеры обвинили Apple в обмане относительно сроков выхода обновлённого Siri на базе ИИ 11 ч.
«Крупнейшая утечка в истории» оказалась устаревшим сборником архивов паролей 14 ч.
Sega случайно раскрыла актуальные продажи последних Persona, Yakuza, Sonic и Total War, а Persona 4 Revival придётся подождать 14 ч.
Для достижения своих целей продвинутые модели ИИ будут хитрить, обманывать и воровать 16 ч.
Xsight Labs выпустила DPU E1 с 64 ядрами Arm Neoverse N2 и 40 линиями PCIe 5.0 2 ч.
Hisense представила для российского рынка новейшие телевизоры, проекторы и многое другое 3 ч.
На китайских торговых площадках появились материнские платы для Nintendo Switch 2 стоимостью $124 4 ч.
TP-Link выпустила водонепроницаемый роутер EAP772-Outdoor с поддержкой Wi-Fi 7 6 ч.
Наблюдатели заметили секретную встречу китайских спутников в космосе — возможно, для дозаправки 9 ч.
Transcend выпустила индустриальные SATA SSD серии SSD475P вместимостью до 8 Тбайт 10 ч.
Крупнейший в мире квантовый компьютер на сверхпроводящих кубитах запущен в Японии 11 ч.
Межпланетная станция NASA «Психея» поддала газу и ускорилась по направлению к Марсу 13 ч.
Meta выпустит VR-гарнитуру Quest 3S Xbox Edition на следующей неделе 14 ч.
Через 10 лет ИИ-ускорители получат терабайты HBM и будут потреблять 15 кВт — это изменит подход к проектированию, питанию и охлаждению ЦОД 17 ч.