Сегодня 29 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → higgs

Российские учёные совершили прорыв в оптимизации ИИ-моделей — теперь их можно использовать без мощных серверов

Лаборатория исследований искусственного интеллекта Yandex Research совместно с учёными из НИУ ВШЭ, Массачусетского технологического института (MIT), Австрийского института науки и технологий (ISTA) и Научно-технологического университета им. короля Абдаллы (KAUST) создала метод сжатия больших языковых моделей (LLM) без потери качества. Теперь для работы с ИИ-моделями достаточно смартфона или ноутбука — не нужно задействовать дорогие серверы и графические ускорители.

 Luke Jones / Unsplash

Luke Jones / Unsplash

Новый метод квантизации получил название Hadamard Incoherence with Gaussian MSE-optimal GridS (HIGGS). Он позволяет сжимать нейросети без использования дополнительных данных и без вычислительно сложной оптимизации параметров. Такой подход особенно выгоден в ситуациях, когда недостаточно подходящих данных для дообучения ИИ-модели. Метод HIGGS обеспечивает баланс между качеством, размером модели и сложностью квантизации, за счёт чего ИИ-модели можно использовать на самых разных устройствах.

С помощью HIGGS можно существенно ускорить процесс тестирования и внедрения новых решений на базе ИИ, экономить время и финансы на разработку. Это сделает ИИ-модели доступнее не только для крупных, но и небольших компаний, а также некоммерческих лабораторий и институтов, индивидуальных разработчиков и исследователей. Если раньше для запуска ИИ-модели на смартфоне или ноутбуке требовалось провести её квантизацию на дорогостоящем сервере (этот процесс занимал от нескольких часов до нескольких недель), то теперь квантизацию можно выполнить прямо на смартфоне или ноутбуке за считанные минуты.

Новый метод квантизации протестировали на популярных ИИ-моделях Llama 3 и Qwen 2.5. В результате было установлено, что HIGGS является лучшим способом квантизации по соотношению качества к размеру модели среди всех существующих аналогов без использования данных, в том числе 4-bit NormalFloat и Half-Quadratic Quantization.

Метод HIGGS уже доступен разработчикам и исследователям на Hugging Face и GitHub, а посвящённая ему научная статья размещена в arXiv. Отметим также, что научную статью с описанием нового метода приняли на одну из крупнейших в мире ИИ-конференций The North American Chapter of the Association for Computation Linguistics (NAACL), которая пройдёт с 29 апреля по 4 мая в Альбукерке (штат Нью-Мексико, США). Статью уже цитировали американская компания Red Hat AI, Пекинский университет, Гонконгский университет науки и технологий и др.


window-new
Soft
Hard
Тренды 🔥
В Google Chrome появятся ИИ-сводки о репутации магазинов 36 мин.
Sony подала в суд на Tencent из-за боевика Light of Motiram, который подозрительно похож на Horizon Zero Dawn 10 ч.
Microsoft превратила Edge в ИИ-браузер, начав тестирование режима Copilot Mode — пока бесплатно 11 ч.
«Лихо одноглазое» пробудилось в Steam и VK Play — это мрачный фольклорный хоррор от создателей «Чёрной книги» 11 ч.
Microsoft напомнила, что прекратит поддержку Windows 11 22H2 в октябре 12 ч.
Это шанс для VR: Tencent выпустила открытую ИИ-модель Hunyuan 3D World Model 1.0, которая генерирует интерактивные 3D-миры 15 ч.
Hollow Knight: Silksong скоро выйдет из тени — Microsoft привезёт игру на Gamescom 2025 15 ч.
У Techland большие планы на Dying Light, поэтому в Dying Light: The Beast не будет выбора концовки 16 ч.
В отключениях интернета в России появятся исключения — предлагается сохранять доступ к «Госуслугам» и банкам 19 ч.
Завирусившийся симулятор Quarantine Zone: The Last Check от российских разработчиков достиг «грандиозного рубежа» и нашёл издателя 20 ч.
Смарт-часы Huawei Watch 5 получили авторские циферблаты от часовщика Константина Чайкина 12 мин.
Nvidia разместила заказ на выпуск 300 000 ускорителей H20 после снятия запрета на их поставку в Китай 2 ч.
Cadence придётся выплатить $140 млн штрафа за нарушение американских санкций в отношении Китая 3 ч.
Тарифные риски увеличили поставки в США смартфонов индийской сборки на 240 % 5 ч.
Новая статья: Обзор смартфона Nothing Phone (3): неординарный флагман с двумя экранами 10 ч.
Sony показала FlexStrike — аркадный геймпад для хардкорных фанатов файтингов 10 ч.
Meta возобновила разработку умных часов, но это не точно — выпускать их будут в Китае 12 ч.
MSI догонит Gigabyte: компания впервые поставит 10 млн материнских плат за год 13 ч.
Китай изо всех сил стремится создать аналог Starlink, но пока драматически отстаёт от SpaceX 13 ч.
Huawei вернула лидерство на китайском рынке смартфонов — Apple только на пятом месте 15 ч.