Сегодня 03 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Учёные нашли способ запускать большие ИИ-модели на системах мощностью 13 Вт, вместо 700 Вт

Исследователи из Калифорнийского университета в Санта-Круз разработали метод, позволяющий запускать большие языковые модели искусственного интеллекта (LLM) с миллиардами параметров при значительно меньшем потреблении энергии, чем у современных систем.

 Источник изображения: Stefan Steinbauer/Unsplash

Источник изображения: Stefan Steinbauer/Unsplash

Новый метод позволил запустить LLV с миллиардами параметров при энергопотреблении системы всего в 13 Вт, что эквивалентно потреблению бытовой светодиодной лампы. Это достижение особенно впечатляет на фоне текущих показателей энергопотребления ИИ-ускорителей. Современные графические процессоры для центров обработки данных, такие как Nvidia H100 и H200, потребляют около 700 Вт, а грядущий Blackwell B200 вообще может использовать до 1200 Вт на один GPU. Таким образом, новый метод оказывается в 50 раз эффективнее популярных сегодня решений, пишет Tom's Hardware.

Ключом к успеху стало устранение матричного умножения (MatMul) из процессов обучения. Исследователи применили два метода. Первый — это перевод системы счисления в троичную, использующую значения -1, 0 и 1, что позволило заменить умножение на простое суммирование чисел. Второй метод основан на внедрении временных вычислений, при котором сеть получила эффективную «память», позволившую работать быстрее, но с меньшим количеством выполняемых операций. Работа проводилась на специализированной системе с FPGA, но исследователи подчёркивают, что большинство их методов повышения эффективности можно применить с помощью открытого программного обеспечения и настройки уже существующих на сегодня систем.

Исследование было вдохновлено работой Microsoft по использованию троичных чисел в нейронных сетях, а в качестве эталонной большой модели учёные использовали LLaMa от Meta. Рюдзи Чжу (Rui-Jie Zhu), один из аспирантов, работавших над проектом, объяснил суть достижения в замене дорогостоящих операций на более дешёвые. Хотя пока неясно, можно ли применить этот подход ко всем системам в области ИИ и языковых моделей в качестве универсального, потенциально он может радикально изменить ландшафт ИИ.

Немаловажно, что учёные открыли исходный код своей разработки, что позволит крупным игрокам рынка ИИ, таким как Meta, OpenAI, Google, Nvidia и другим беспрепятственно воспользоваться новым достижением для обработки рабочих нагрузок и создания более быстрых и энергоэффективных систем искусственного интеллекта. В конечном итоге это приведёт к тому, что ИИ сможет полнофункционально работать на персональных компьютерах и мобильных устройствах, и приблизится к уровню функциональности человеческого мозга.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Windows 11 получит долгожданное автопереключение светлой и тёмной темы — Microsoft представила PowerToys 0.94 2 ч.
Hollow Knight: Silksong уже исправляет ошибки оригинальной игры — горячо ожидаемая метроидвания получит поддержку ультрашироких мониторов 2 ч.
«Наслаждайтесь последними днями покоя»: перезапуск Painkiller не выйдет 9 октября 2 ч.
Акции Google резко подорожали после того, как компания увернулась от принудительной продажи Chrome 3 ч.
«С возвращением, Crazy Taxi»: стартовавший в раннем доступе симулятор CyberTaxi: Lunatic Nights напомнил игрокам о легендарной серии аркад 5 ч.
Легендарный шутер Quake III Arena стал доступен в браузерах — бесплатно, без регистраций, смс и рекламы 5 ч.
Россиянам перекроют доступ к Spotify Premium — сервис ужесточает правила 5 ч.
Импортозамещение продолжает оставаться основным драйвером IT-расходов в российских компаниях 6 ч.
ЕС продолжит строго регулировать технологическую отрасль, несмотря на угрозы Трампа 9 ч.
Cloudflare отразила самую мощную в истории DDoS-атаку — 11,5 Тбит/с в пике 9 ч.
Lexar выпустила комплекты памяти Thor RGB DDR5 2nd Gen — до 128 Гбайт и до 6400 МТ/с 59 мин.
Intel выпустила профессиональную видеокарту Arc B50 начального уровня за $349 2 ч.
Acer показала первый ноутбук на Intel Panther Lake — Swift 16 AI с гигантским тачпадом 3 ч.
Garmin представила смарт-часы Fenix 8 Pro с поддержкой сотовой и спутниковой связи, но есть нюанс 3 ч.
Прототип орбитального ЦОД Axiom Space и Red Hat для экспериментов с периферийными вычислениями прибыл на МКС 4 ч.
TSMC отвергла слухи, что Дженсен Хуанг пытался на неё надавить от имени Трампа 5 ч.
«К2 НейроТех» представил ПАК-AI 2.0 с увеличенной на 30 % производительностью 5 ч.
Acer представила OLED-монитор Predator X27U F8 с частотой до 720 Гц и мощный ноутбук Predator Helios 18P AI с RTX 5090 6 ч.
LG Display получила сертификат Perfect Reproduction для OLED-панелей четвёртого поколения 6 ч.
Acer представила новые геймерские мониторы Nitro — до 40 дюймов, до 5K и до 360 Гц 6 ч.