Сегодня 24 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Российские учёные совершили прорыв в оптимизации ИИ-моделей — теперь их можно использовать без мощных серверов

Лаборатория исследований искусственного интеллекта Yandex Research совместно с учёными из НИУ ВШЭ, Массачусетского технологического института (MIT), Австрийского института науки и технологий (ISTA) и Научно-технологического университета им. короля Абдаллы (KAUST) создала метод сжатия больших языковых моделей (LLM) без потери качества. Теперь для работы с ИИ-моделями достаточно смартфона или ноутбука — не нужно задействовать дорогие серверы и графические ускорители.

 Luke Jones / Unsplash

Luke Jones / Unsplash

Новый метод квантизации получил название Hadamard Incoherence with Gaussian MSE-optimal GridS (HIGGS). Он позволяет сжимать нейросети без использования дополнительных данных и без вычислительно сложной оптимизации параметров. Такой подход особенно выгоден в ситуациях, когда недостаточно подходящих данных для дообучения ИИ-модели. Метод HIGGS обеспечивает баланс между качеством, размером модели и сложностью квантизации, за счёт чего ИИ-модели можно использовать на самых разных устройствах.

С помощью HIGGS можно существенно ускорить процесс тестирования и внедрения новых решений на базе ИИ, экономить время и финансы на разработку. Это сделает ИИ-модели доступнее не только для крупных, но и небольших компаний, а также некоммерческих лабораторий и институтов, индивидуальных разработчиков и исследователей. Если раньше для запуска ИИ-модели на смартфоне или ноутбуке требовалось провести её квантизацию на дорогостоящем сервере (этот процесс занимал от нескольких часов до нескольких недель), то теперь квантизацию можно выполнить прямо на смартфоне или ноутбуке за считанные минуты.

Новый метод квантизации протестировали на популярных ИИ-моделях Llama 3 и Qwen 2.5. В результате было установлено, что HIGGS является лучшим способом квантизации по соотношению качества к размеру модели среди всех существующих аналогов без использования данных, в том числе 4-bit NormalFloat и Half-Quadratic Quantization.

Метод HIGGS уже доступен разработчикам и исследователям на Hugging Face и GitHub, а посвящённая ему научная статья размещена в arXiv. Отметим также, что научную статью с описанием нового метода приняли на одну из крупнейших в мире ИИ-конференций The North American Chapter of the Association for Computation Linguistics (NAACL), которая пройдёт с 29 апреля по 4 мая в Альбукерке (штат Нью-Мексико, США). Статью уже цитировали американская компания Red Hat AI, Пекинский университет, Гонконгский университет науки и технологий и др.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Банковский троян Coyote обновился и стал опаснее — но пока в основном для бразильцев 18 мин.
Глава Google заявил, что он в восторге от партнёрства с OpenAI, но верится в это с трудом 2 ч.
ИИ будет рассматривать обращения россиян в госорганы — Минцифры проведёт эксперимент по внедрению ИИ в госуправление 2 ч.
Стёртые временем письмена прочитает «Эней» — ИИ от Google DeepMind для восстановления древних текстов и их истории 3 ч.
Чёрный юмор, дух оригинальной игры и никакого DEI: анонсирована новая Lollipop Chainsaw и аниме по мотивам 3 ч.
Alphabet отчиталась о взлетевшей на 20 % прибыли, взрывном росте облаков и ИИ 4 ч.
Атака на серверы Microsoft SharePoint может стать крупнейшей кибератакой 2025 года — число пострадавших превысило четыре сотни 5 ч.
Double Fine устроила раздачу Brutal Legend в память об Оззи Осборне — культовая игра стала бесплатной на 666 минут 5 ч.
Apple добавила в iOS 26 фильтры, которые помогут избежать фишинга 5 ч.
Трамп представил план тотального внедрения ИИ во все сферы жизни американцев 16 ч.
Роботом Tesla Optimus на раздаче попкорна управлял человек, но это не помешало ему зависнуть 19 мин.
Zotac выпустила видеокарту GeForce RTX 5090 ArcticStorm AIO с мощной СЖО и компактную GeForce RTX 5060 Low Profile 20 мин.
Neuralink намерен ежегодно устанавливать импланты в мозг 20 000 человек и получать не менее $1 млрд выручки 41 мин.
После отключений мобильного интернета в России подскочила популярность спутниковой связи 47 мин.
Sony задумалась о продаже бизнеса сотовых чипсетов 48 мин.
Первый в мире двухтонный электролёт допущен к полётам в Китае — он будет перевозить грузы и тушить пожары 59 мин.
G.Skill представила 512-Гбайт комплект оперативной памяти DDR5-6400 для самых мощных Ryzen 2 ч.
Бум ИИ продолжает обогащать SK hynix: выручка подскочила на 35 %, прибыль — на 69 % 2 ч.
«Мегафон» вновь возглавил рейтинг лучших провайдеров мобильного интернета в России в первой половине 2025 года 2 ч.
Google показала всю серию смартфонов Pixel 10 — тройные камеры теперь будут у каждой модели 2 ч.