Сегодня 19 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Учёные нашли способ запускать большие ИИ-модели на системах мощностью 13 Вт, вместо 700 Вт

Исследователи из Калифорнийского университета в Санта-Круз разработали метод, позволяющий запускать большие языковые модели искусственного интеллекта (LLM) с миллиардами параметров при значительно меньшем потреблении энергии, чем у современных систем.

 Источник изображения: Stefan Steinbauer/Unsplash

Источник изображения: Stefan Steinbauer/Unsplash

Новый метод позволил запустить LLV с миллиардами параметров при энергопотреблении системы всего в 13 Вт, что эквивалентно потреблению бытовой светодиодной лампы. Это достижение особенно впечатляет на фоне текущих показателей энергопотребления ИИ-ускорителей. Современные графические процессоры для центров обработки данных, такие как Nvidia H100 и H200, потребляют около 700 Вт, а грядущий Blackwell B200 вообще может использовать до 1200 Вт на один GPU. Таким образом, новый метод оказывается в 50 раз эффективнее популярных сегодня решений, пишет Tom's Hardware.

Ключом к успеху стало устранение матричного умножения (MatMul) из процессов обучения. Исследователи применили два метода. Первый — это перевод системы счисления в троичную, использующую значения -1, 0 и 1, что позволило заменить умножение на простое суммирование чисел. Второй метод основан на внедрении временных вычислений, при котором сеть получила эффективную «память», позволившую работать быстрее, но с меньшим количеством выполняемых операций. Работа проводилась на специализированной системе с FPGA, но исследователи подчёркивают, что большинство их методов повышения эффективности можно применить с помощью открытого программного обеспечения и настройки уже существующих на сегодня систем.

Исследование было вдохновлено работой Microsoft по использованию троичных чисел в нейронных сетях, а в качестве эталонной большой модели учёные использовали LLaMa от Meta. Рюдзи Чжу (Rui-Jie Zhu), один из аспирантов, работавших над проектом, объяснил суть достижения в замене дорогостоящих операций на более дешёвые. Хотя пока неясно, можно ли применить этот подход ко всем системам в области ИИ и языковых моделей в качестве универсального, потенциально он может радикально изменить ландшафт ИИ.

Немаловажно, что учёные открыли исходный код своей разработки, что позволит крупным игрокам рынка ИИ, таким как Meta, OpenAI, Google, Nvidia и другим беспрепятственно воспользоваться новым достижением для обработки рабочих нагрузок и создания более быстрых и энергоэффективных систем искусственного интеллекта. В конечном итоге это приведёт к тому, что ИИ сможет полнофункционально работать на персональных компьютерах и мобильных устройствах, и приблизится к уровню функциональности человеческого мозга.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Cast n Chill — вы, сэр, рыба. Рецензия 3 ч.
Возвращение к шутерам от первого лица: Ubisoft подтвердила разработку новой Ghost Recon 3 ч.
Кооперативный боевик Contraband от создателей Just Cause всё ещё жив, но оказался игрой-сервисом 5 ч.
Meta отказалась соблюдать «чрезмерные» правила разработки ИИ, предложенные ЕС 6 ч.
Microsoft уличили в допуске китайцев к секретным облачными системами Пентагона 6 ч.
Legacy of the Forge «уже не за горами» — Warhorse раскрыла, когда ждать новостей о втором дополнении к Kingdom Come: Deliverance 2 7 ч.
Перевод на русский, Denuvo и первые детали геймплея: Persona 4 Revival получила страницу в Steam 8 ч.
Netflix призналась, что начала использовать ИИ при создании сериалов 9 ч.
Фэнтезийная 4X-стратегия Endless Legend 2 от создателей Humankind не выйдет 7 августа в раннем доступе Steam, но есть и хорошая новость 10 ч.
iOS 26 защитит пользователей iPhone от телефонных спамеров 10 ч.
Углеродные выбросы Amazon выросли в 2024 году на 6 % из-за ИИ ЦОД и любителей шопинга 3 ч.
Австрийцы упаковали электромобильный аккумулятор в корпус из дерева и стали 6 ч.
В Роттердаме запустят беспилотные рейсовые автобусы между городом и аэропортом 6 ч.
Asus представила материнскую плату ROG Strix X870-H Gaming WiFi7 S с ярким аниме-дизайном 7 ч.
ASRock представила плату X870E Taichi OCF для экстремального разгона Ryzen 9000 и другие новинки с AM5 9 ч.
США намерены ослабить влияние Китая на подводную интернет-инфраструктуру, но у них это вряд ли получится 10 ч.
Российские учёные создали фотонный детектор с «обонянием» — он учует опасные газы в воздухе, диабет и алкогольную вечеринку 11 ч.
Передовые твердотельные батареи в электромобилях появятся в лучшем случае через пять лет 11 ч.
В России впервые запущено производство особо чистого тетрахлорида германия для выпуска оптоволокна 13 ч.
Китайский охотник за астероидами испытал камеры на Земле и Луне — и поделился впечатляющими снимками 14 ч.