Сегодня 16 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Учёные нашли способ запускать большие ИИ-модели на системах мощностью 13 Вт, вместо 700 Вт

Исследователи из Калифорнийского университета в Санта-Круз разработали метод, позволяющий запускать большие языковые модели искусственного интеллекта (LLM) с миллиардами параметров при значительно меньшем потреблении энергии, чем у современных систем.

 Источник изображения: Stefan Steinbauer/Unsplash

Источник изображения: Stefan Steinbauer/Unsplash

Новый метод позволил запустить LLV с миллиардами параметров при энергопотреблении системы всего в 13 Вт, что эквивалентно потреблению бытовой светодиодной лампы. Это достижение особенно впечатляет на фоне текущих показателей энергопотребления ИИ-ускорителей. Современные графические процессоры для центров обработки данных, такие как Nvidia H100 и H200, потребляют около 700 Вт, а грядущий Blackwell B200 вообще может использовать до 1200 Вт на один GPU. Таким образом, новый метод оказывается в 50 раз эффективнее популярных сегодня решений, пишет Tom's Hardware.

Ключом к успеху стало устранение матричного умножения (MatMul) из процессов обучения. Исследователи применили два метода. Первый — это перевод системы счисления в троичную, использующую значения -1, 0 и 1, что позволило заменить умножение на простое суммирование чисел. Второй метод основан на внедрении временных вычислений, при котором сеть получила эффективную «память», позволившую работать быстрее, но с меньшим количеством выполняемых операций. Работа проводилась на специализированной системе с FPGA, но исследователи подчёркивают, что большинство их методов повышения эффективности можно применить с помощью открытого программного обеспечения и настройки уже существующих на сегодня систем.

Исследование было вдохновлено работой Microsoft по использованию троичных чисел в нейронных сетях, а в качестве эталонной большой модели учёные использовали LLaMa от Meta. Рюдзи Чжу (Rui-Jie Zhu), один из аспирантов, работавших над проектом, объяснил суть достижения в замене дорогостоящих операций на более дешёвые. Хотя пока неясно, можно ли применить этот подход ко всем системам в области ИИ и языковых моделей в качестве универсального, потенциально он может радикально изменить ландшафт ИИ.

Немаловажно, что учёные открыли исходный код своей разработки, что позволит крупным игрокам рынка ИИ, таким как Meta, OpenAI, Google, Nvidia и другим беспрепятственно воспользоваться новым достижением для обработки рабочих нагрузок и создания более быстрых и энергоэффективных систем искусственного интеллекта. В конечном итоге это приведёт к тому, что ИИ сможет полнофункционально работать на персональных компьютерах и мобильных устройствах, и приблизится к уровню функциональности человеческого мозга.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Диски уходят: продажи игр на физических носителях в прошлом году принесли Sony только 3 % от общего объёма выручки 29 мин.
Уникальная и действительно жуткая: журналистка раскрыла первую оценку Silent Hill f за неделю до окончания эмбарго 35 мин.
Вышла Apple macOS Tahoe 26 — она получила интерфейс Liquid Glass, новые средства автоматизации и многое другое 57 мин.
Планы Sony на сентябрьский выпуск State of Play подтвердил ещё один инсайдер — шоу пройдёт совсем скоро 2 ч.
Спустя полтора года в раннем доступе нашумевший симулятор «покемонов с пушками» Palworld взял курс на полноценный релиз 4 ч.
В корпоративном пакете Microsoft 365 заработал бесплатный Copilot Chat 4 ч.
США и Китай договорились об условиях сделки с TikTok, их утвердят в пятницу лидеры этих стран 8 ч.
OpenAI представила GPT-5-Codex — версию GPT-5 с динамическим мышлением для агентного программирования 12 ч.
Apple выпустила watchOS 26: дизайн Liquid Glass, новые функции Apple Intelligence и мониторинг гипертонии 12 ч.
Календарь релизов 15–21 сентября: Dying Light: The Beast, Lego Voyagers, Ratatan, Jump Space 13 ч.
BlackRock вложит до £500 млн в развитие дата-центров в Великобритании 11 мин.
Silver Lake закрыла сделку по покупке контролирующей доли в бизнесе Altera 20 мин.
OpenAI планирует заняться гуманоидными роботами и собирает команду специалистов в робототехнике 2 ч.
В числе первых чипов, которые выпустит TSMC по 2-нм техпроцессу, окажется следующий Mediatek Dimensity 2 ч.
eSIM от Yesim: как забыть о роуминге и не остаться без связи за границей 3 ч.
Спутниковый интернет Amazon к концу первого квартала 2026 года будет доступен в пяти странах мира 4 ч.
NVIDIA обязалась выкупить у CoreWeave все нераспроданные ИИ-мощности за $6,3 млрд 4 ч.
Умные очки Meta Ray-Ban Display с дисплеем показались на видео до презентации 4 ч.
Завершение сделки по отделению Altera позволило Intel снизить план по операционным расходам на 2025 год на $200 млн 4 ч.
С апрельских минимумов акции Tesla выросли в цене на 85 % 5 ч.