Сегодня 30 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В Microsoft разработали сверхэффективную ИИ-модель, которая запускается на CPU

Исследователи из Microsoft сообщили о разработке самой масштабной однобитной модели искусственного интеллекта — такой архитектурный подход называется «битнет». Модель BitNet b1.58 2B4T выложена в открытый доступ по лицензии MIT, и для её работы достаточно центрального процессора, в том числе Apple M2.

Системы «битнет» — это сжатые модели, предназначенные для запуска на оборудовании невысокой производительности. В случае стандартных моделей веса — значения, которые определяют её внутреннюю структуру, — зачастую квантуются. При квантизации уменьшается количество битов, необходимых для представления весов, а модели получают возможность быстрее работать на системах с меньшим объёмом памяти. Битнет предполагает квантование веса в три значения: «-1», «0» и «1», то есть в теории такие модели оказываются значительно эффективнее с точки зрения памяти и вычислительных ресурсов, чем большинство современных систем ИИ.

BitNet b1.58 2B4T, утверждают в Microsoft, — это первая модель на основе данной архитектуры, у которой 2 млрд параметров, причём параметры в значительной степени — то же, что веса. Она была обучена на массиве данных в 4 трлн токенов, что, по оценкам, эквивалентно примерно 33 млн книг. BitNet b1.58 2B4T не уступает аналогичным моделям того же размера: она превзошла Meta Llama 3.2 1B, Google Gemma 3 1B и Alibaba Qwen 2.5 1.5B в тестах GSM8K (математика уровня начальной школы) и PIQA (оценка здравого смысла). При этом модель в некоторых случаях работает вдвое быстрее аналогов и использует меньше памяти.

Но есть один нюанс: для достижения максимальной производительности модели необходим разработанный Microsoft фреймворк bitnet.cpp, который поддерживает лишь определённое оборудование. В списке поддерживаемых чипов отсутствуют графические процессоры, без которых современная отрасль ИИ немыслима. Таким образом, архитектурный подход «битнет» представляется перспективным направлением, но препятствием пока является аппаратная совместимость.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Sony сняла региональные ограничения со Stellar Blade на ПК, а в Steam вышла демоверсия игры 34 мин.
Звание худшей игры FromSoftware в Steam не помеха: продажи Elden Ring Nightreign превысили 2 миллиона копий в день релиза 4 ч.
Российская «Майкрософт» собралась объявить о банкротстве 4 ч.
Никогда такого не было и вот опять: майское обновление Windows 11 вызывает массовые сбои с кодом 0xc0000098 4 ч.
CD Projekt Red анонсировала ещё одно обновление для The Witcher 3: Wild Hunt — игра получит кроссплатформенную поддержку модов 5 ч.
Власти ЕС запустят приложение для проверки возраста людей в интернете 5 ч.
ИИ начал автоматически конспектировать содержимое писем Gmail 6 ч.
Google AI Overviews до недавнего времени жил в 2024 году — после огласки проблему быстро устранили 7 ч.
У россиян стали вдвое чаще угонять аккаунты от ChatGPT и других ИИ-сервисов 7 ч.
Благодаря ИИ Microsoft выбилась из отстающих в лидеры по темпам роста акций 8 ч.
Китайская XPeng выпустила электромобиль MONA M03 Max за $20 000 с бесплатными автопилотом 2 ч.
Dreame представила в России флагманские роботы-пылесосы, ручные пылесосы, газонокосилку и очиститель воздуха 3 ч.
Цены на память DRAM подскочили ещё на 20 %, так как производители электроники запасаются впрок 4 ч.
Реинкарнация Optane: InnoGrit показала SSD на чипах 3D XL-Flash с рекордной скоростью в 3,5 млн IOPS 4 ч.
Конец эпохи: Sony прекратила производить смартфоны Xperia своими силами 4 ч.
MSI заменит или компенсирует любые комплектующие в ПК, если их сломает её блок питания 5 ч.
Соучредитель Xbox Джей Аллард занялся «прорывными» устройствами в Amazon 5 ч.
Intel не намерена выпускать дискретную графику для ноутбуков — хватит и интегрированной 6 ч.
Робот Space Solar поможет в сборке километровых солнечных панелей и других гигантских объектов на орбите 6 ч.
Скромно, зато всё своё: Bell Canada и Telus развернут в Канаде сеть ИИ ЦОД 7 ч.