Сегодня 09 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В Microsoft разработали сверхэффективную ИИ-модель, которая запускается на CPU

Исследователи из Microsoft сообщили о разработке самой масштабной однобитной модели искусственного интеллекта — такой архитектурный подход называется «битнет». Модель BitNet b1.58 2B4T выложена в открытый доступ по лицензии MIT, и для её работы достаточно центрального процессора, в том числе Apple M2.

Системы «битнет» — это сжатые модели, предназначенные для запуска на оборудовании невысокой производительности. В случае стандартных моделей веса — значения, которые определяют её внутреннюю структуру, — зачастую квантуются. При квантизации уменьшается количество битов, необходимых для представления весов, а модели получают возможность быстрее работать на системах с меньшим объёмом памяти. Битнет предполагает квантование веса в три значения: «-1», «0» и «1», то есть в теории такие модели оказываются значительно эффективнее с точки зрения памяти и вычислительных ресурсов, чем большинство современных систем ИИ.

BitNet b1.58 2B4T, утверждают в Microsoft, — это первая модель на основе данной архитектуры, у которой 2 млрд параметров, причём параметры в значительной степени — то же, что веса. Она была обучена на массиве данных в 4 трлн токенов, что, по оценкам, эквивалентно примерно 33 млн книг. BitNet b1.58 2B4T не уступает аналогичным моделям того же размера: она превзошла Meta Llama 3.2 1B, Google Gemma 3 1B и Alibaba Qwen 2.5 1.5B в тестах GSM8K (математика уровня начальной школы) и PIQA (оценка здравого смысла). При этом модель в некоторых случаях работает вдвое быстрее аналогов и использует меньше памяти.

Но есть один нюанс: для достижения максимальной производительности модели необходим разработанный Microsoft фреймворк bitnet.cpp, который поддерживает лишь определённое оборудование. В списке поддерживаемых чипов отсутствуют графические процессоры, без которых современная отрасль ИИ немыслима. Таким образом, архитектурный подход «битнет» представляется перспективным направлением, но препятствием пока является аппаратная совместимость.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Сэм Альтман переобулся и теперь утверждает, что госрегулирование ИИ поставит крест на лидерстве США 3 ч.
Доставка прибудет по расписанию: курьерский экшен Death Stranding 2: On the Beach ушёл на золото за полтора месяца до релиза 5 ч.
В Telegram добавились маркетплейс подарков, публикация нескольких историй сразу и автоматический перевод в каналах 5 ч.
«Лучшая карточная игра с RPG-элементами»: с 2022 года пользователи The Witcher 3: Wild Hunt наиграли в «Гвинт» более 458 миллионов партий 6 ч.
Исследовательскую лабораторию ИИ в Meta возглавил выходец из Google DeepMind 6 ч.
Хоррор-шутер Alien: Rogue Incursion Evolved Edition отправит игроков выживать под натиском небывало хитрых ксеноморфов — трейлер и дата выхода 9 ч.
Сэм Альтман передал управление ChatGPT новому руководителю, а сам займётся исследованиями 10 ч.
Google защитит пользователей Chrome от фишинга с помощью локальной ИИ-модели Gemini Nano 11 ч.
Microsoft упростит установку приложений в Windows 11, но это может привести к засорению системы 19 ч.
Первое сюжетное дополнение к Kingdom Come: Deliverance 2 не заставит себя долго ждать — новый трейлер и дата выхода Brushes with Death 20 ч.