Сегодня 30 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В Microsoft разработали сверхэффективную ИИ-модель, которая запускается на CPU

Исследователи из Microsoft сообщили о разработке самой масштабной однобитной модели искусственного интеллекта — такой архитектурный подход называется «битнет». Модель BitNet b1.58 2B4T выложена в открытый доступ по лицензии MIT, и для её работы достаточно центрального процессора, в том числе Apple M2.

Системы «битнет» — это сжатые модели, предназначенные для запуска на оборудовании невысокой производительности. В случае стандартных моделей веса — значения, которые определяют её внутреннюю структуру, — зачастую квантуются. При квантизации уменьшается количество битов, необходимых для представления весов, а модели получают возможность быстрее работать на системах с меньшим объёмом памяти. Битнет предполагает квантование веса в три значения: «-1», «0» и «1», то есть в теории такие модели оказываются значительно эффективнее с точки зрения памяти и вычислительных ресурсов, чем большинство современных систем ИИ.

BitNet b1.58 2B4T, утверждают в Microsoft, — это первая модель на основе данной архитектуры, у которой 2 млрд параметров, причём параметры в значительной степени — то же, что веса. Она была обучена на массиве данных в 4 трлн токенов, что, по оценкам, эквивалентно примерно 33 млн книг. BitNet b1.58 2B4T не уступает аналогичным моделям того же размера: она превзошла Meta Llama 3.2 1B, Google Gemma 3 1B и Alibaba Qwen 2.5 1.5B в тестах GSM8K (математика уровня начальной школы) и PIQA (оценка здравого смысла). При этом модель в некоторых случаях работает вдвое быстрее аналогов и использует меньше памяти.

Но есть один нюанс: для достижения максимальной производительности модели необходим разработанный Microsoft фреймворк bitnet.cpp, который поддерживает лишь определённое оборудование. В списке поддерживаемых чипов отсутствуют графические процессоры, без которых современная отрасль ИИ немыслима. Таким образом, архитектурный подход «битнет» представляется перспективным направлением, но препятствием пока является аппаратная совместимость.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Apple: разработчики приложений заработали $406 млрд через App Store в 2024 году 6 ч.
В Steam вышло демо Dispatch — комедийной игры про агентство супергероев от бывших разработчиков Tales from the Borderlands и The Wolf Among Us 8 ч.
Bandai Namco предупредила владельцев «новейших видеокарт» о проблемах Elden Ring Nightreign на ПК — игра уже получила первый патч 9 ч.
Yandex B2B Tech запустила YTsaurus — платформу обработки данных любого объёма для бизнеса 10 ч.
CD Projekt подтвердила разработку двух секретных игр, о которых никто ничего не знает 11 ч.
Полный запрет майнинга скоро будет введён в Бурятии и Забайкалье 12 ч.
Миллионы людей открыли сотням веб-приложений полный доступ к своим файлам в Microsoft OneDrive 12 ч.
В Atomic Heart сыграло 10 миллионов человек, а Mundfish начнёт помогать амбициозным разработчикам 12 ч.
«Ростелеком» усилил требования по информационной безопасности к дочерним организациям и подрядчикам 12 ч.
Минцифры пообещало принять единую политику использования VPN в России 13 ч.
Учёные создали наклейку на лицо за $20, которая предупредит о «выгорании» 2 ч.
Dell удалось воодушевить инвесторов прогнозом увеличения выручки от ИИ-серверов в полтора раза 2 ч.
ASRock признала, что её материнские платы ломают процессоры Ryzen 9000 6 ч.
Lian Li представила СЖО HydroShift II LCD-C с радиатором 360 мм и тремя конфигурациями 7 ч.
Новая статья: Обзор LCD Full HD-проектора Digma DP-FHD800A: современный подход 7 ч.
NVIDIA значительно увеличила выручку и прибыль, несмотря на потери из-за санкций США 8 ч.
В Китае испытали многоразовую ракету для мгновенной доставки товаров с Aliexpress по всему миру 9 ч.
Гендир Intel Лип-Бу Тан начал борьбу с бюрократией и теперь нуждается в большом клиенте 11 ч.
Vivo представила смартфоны S30 и S30 Pro Mini с 50-Мп перископическими камерами и мощными чипами 11 ч.
Frore представила твердотельный кулер AirJet Mini G2 — производительность выросла на 42 % 12 ч.