Сегодня 08 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Учёные нашли способ запускать большие ИИ-модели на системах мощностью 13 Вт, вместо 700 Вт

Исследователи из Калифорнийского университета в Санта-Круз разработали метод, позволяющий запускать большие языковые модели искусственного интеллекта (LLM) с миллиардами параметров при значительно меньшем потреблении энергии, чем у современных систем.

 Источник изображения: Stefan Steinbauer/Unsplash

Источник изображения: Stefan Steinbauer/Unsplash

Новый метод позволил запустить LLV с миллиардами параметров при энергопотреблении системы всего в 13 Вт, что эквивалентно потреблению бытовой светодиодной лампы. Это достижение особенно впечатляет на фоне текущих показателей энергопотребления ИИ-ускорителей. Современные графические процессоры для центров обработки данных, такие как Nvidia H100 и H200, потребляют около 700 Вт, а грядущий Blackwell B200 вообще может использовать до 1200 Вт на один GPU. Таким образом, новый метод оказывается в 50 раз эффективнее популярных сегодня решений, пишет Tom's Hardware.

Ключом к успеху стало устранение матричного умножения (MatMul) из процессов обучения. Исследователи применили два метода. Первый — это перевод системы счисления в троичную, использующую значения -1, 0 и 1, что позволило заменить умножение на простое суммирование чисел. Второй метод основан на внедрении временных вычислений, при котором сеть получила эффективную «память», позволившую работать быстрее, но с меньшим количеством выполняемых операций. Работа проводилась на специализированной системе с FPGA, но исследователи подчёркивают, что большинство их методов повышения эффективности можно применить с помощью открытого программного обеспечения и настройки уже существующих на сегодня систем.

Исследование было вдохновлено работой Microsoft по использованию троичных чисел в нейронных сетях, а в качестве эталонной большой модели учёные использовали LLaMa от Meta. Рюдзи Чжу (Rui-Jie Zhu), один из аспирантов, работавших над проектом, объяснил суть достижения в замене дорогостоящих операций на более дешёвые. Хотя пока неясно, можно ли применить этот подход ко всем системам в области ИИ и языковых моделей в качестве универсального, потенциально он может радикально изменить ландшафт ИИ.

Немаловажно, что учёные открыли исходный код своей разработки, что позволит крупным игрокам рынка ИИ, таким как Meta, OpenAI, Google, Nvidia и другим беспрепятственно воспользоваться новым достижением для обработки рабочих нагрузок и создания более быстрых и энергоэффективных систем искусственного интеллекта. В конечном итоге это приведёт к тому, что ИИ сможет полнофункционально работать на персональных компьютерах и мобильных устройствах, и приблизится к уровню функциональности человеческого мозга.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Британские СМИ восстали против ИИ-сводок в поиске Google и требуют отключить опцию 58 мин.
Чат-бот Илона Маска Grok стал ещё более «политически некорректным» после обновления 60 мин.
Браузер Microsoft Edge научился загружать страницы за рекордные 300 мс 4 ч.
OpenAI начала тестировать в ChatGPT образовательный режим ответов «Учимся вместе» 4 ч.
Apple одумалась: Liquid Glass стал менее прозрачным и более читаемым в новой бете iOS 26 10 ч.
Epic Games помирилась с Samsung — за блокировку сторонних магазинов на Android теперь ответит только Google 11 ч.
Календарь релизов — 7–13 июля: Tony Hawk’s Pro Skater 3 + 4, Mycopunk и Ground of Aces 11 ч.
Capcom побоялась проводить лекцию об оптимизации Monster Hunter Wilds на фоне «крайне отрицательных» обзоров в Steam 12 ч.
В TON Foundation признали, что заморозка TON на $100 000 не гарантирует «золотую визу» ОАЭ 12 ч.
Конкурент Netflix? Трамп запустил «устойчивый к цензуре» стриминговый сервис Truth+ 12 ч.
Прибыль Samsung должна упасть впервые с 2023 года, причём сразу на 56 % 12 мин.
Jsaux представила охлаждающий модуль с клипсой для Nintendo Switch 2 55 мин.
Ещё один ключевой специалист по ИИ перешёл в Meta — теперь из Apple 4 ч.
Суд не удовлетворил очередную жалобу Apple на запрет продажи в США часов Watch с датчиком содержания кислорода в крови 5 ч.
CoreWeave всё-таки купила оператора ЦОД Core Scientific, но в девять раз дороже, чем когда-то планировала 9 ч.
Новая статья: Обзор смартфона HONOR 400: реаниматор 9 ч.
Бренд Trouver дебютировал в России с роботами-пылесосами P50 Ultra и P50 Pro Ultra 14 ч.
ChatGPT справился с управлением космическим кораблём, но пока только в симуляции 15 ч.
Характеристики Galaxy Z Fold 7 и других новых складных смартфонов Samsung раскрыты в преддверии презентации 15 ч.
Российская электроника страдает от заниженных цен в госзакупках — виноваты иностранные производители 16 ч.