Сегодня 03 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Российские учёные совершили прорыв в оптимизации ИИ-моделей — теперь их можно использовать без мощных серверов

Лаборатория исследований искусственного интеллекта Yandex Research совместно с учёными из НИУ ВШЭ, Массачусетского технологического института (MIT), Австрийского института науки и технологий (ISTA) и Научно-технологического университета им. короля Абдаллы (KAUST) создала метод сжатия больших языковых моделей (LLM) без потери качества. Теперь для работы с ИИ-моделями достаточно смартфона или ноутбука — не нужно задействовать дорогие серверы и графические ускорители.

 Luke Jones / Unsplash

Luke Jones / Unsplash

Новый метод квантизации получил название Hadamard Incoherence with Gaussian MSE-optimal GridS (HIGGS). Он позволяет сжимать нейросети без использования дополнительных данных и без вычислительно сложной оптимизации параметров. Такой подход особенно выгоден в ситуациях, когда недостаточно подходящих данных для дообучения ИИ-модели. Метод HIGGS обеспечивает баланс между качеством, размером модели и сложностью квантизации, за счёт чего ИИ-модели можно использовать на самых разных устройствах.

С помощью HIGGS можно существенно ускорить процесс тестирования и внедрения новых решений на базе ИИ, экономить время и финансы на разработку. Это сделает ИИ-модели доступнее не только для крупных, но и небольших компаний, а также некоммерческих лабораторий и институтов, индивидуальных разработчиков и исследователей. Если раньше для запуска ИИ-модели на смартфоне или ноутбуке требовалось провести её квантизацию на дорогостоящем сервере (этот процесс занимал от нескольких часов до нескольких недель), то теперь квантизацию можно выполнить прямо на смартфоне или ноутбуке за считанные минуты.

Новый метод квантизации протестировали на популярных ИИ-моделях Llama 3 и Qwen 2.5. В результате было установлено, что HIGGS является лучшим способом квантизации по соотношению качества к размеру модели среди всех существующих аналогов без использования данных, в том числе 4-bit NormalFloat и Half-Quadratic Quantization.

Метод HIGGS уже доступен разработчикам и исследователям на Hugging Face и GitHub, а посвящённая ему научная статья размещена в arXiv. Отметим также, что научную статью с описанием нового метода приняли на одну из крупнейших в мире ИИ-конференций The North American Chapter of the Association for Computation Linguistics (NAACL), которая пройдёт с 29 апреля по 4 мая в Альбукерке (штат Нью-Мексико, США). Статью уже цитировали американская компания Red Hat AI, Пекинский университет, Гонконгский университет науки и технологий и др.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Apple прокачает среду разработки Xcode с помощью ИИ-модели Claude Sonnet, но публичный запуск под вопросом 46 мин.
Минюст США потребовал от Google продать почти весь рекламный бизнес 2 ч.
Удалённый доступ к Windows содержит «дыру», которую Microsoft не собирается исправлять 4 ч.
Skype навсегда прекратит работу 5 мая, а Microsoft переведёт пользователей в Teams 8 ч.
Новая статья: Lost Records: Bloom & Rage — Tape 2: закончили за упокой. Рецензия 9 ч.
OpenAI придумала, как исправить угодливое поведение ChatGPТ 10 ч.
Ждать осталось недолго: журналист раскрыл, когда выйдут первые обзоры Doom: The Dark Ages 11 ч.
«Ждём всем селом»: новый трейлер душевного симулятора деревенского водителя «Заря» очаровал игроков 13 ч.
Перенос GTA VI на 2026 год обвалил акции Take-Two, но компания «целиком поддерживает решение Rockstar Games» 14 ч.
Bandai Namco и FromSoftware показали, что ждёт игроков в Elden Ring Nightreign — опубликован большой обзорный трейлер 15 ч.
«128 Гбайт без потери скорости»: G.Skill показала, как должно выглядеть будущее ОЗУ 4 ч.
Apple рассказала о вынужденном изменении географии поставок из-за трамповских пошлин 10 ч.
Nvidia придумала, как законно обойти антикитайские санкции, и продолжит поставки ИИ-ускорителей в Китай 11 ч.
На Землю вот-вот упадёт советская межпланетная станция «Космос-482», провисевшая на орбите 53 года 11 ч.
Крупнейший в мире речной электрический паром получит батарейку весом 250 тонн 13 ч.
Опубликованы изображения тонкого Samsung Galaxy S25 Edge — он получит батарею на 3900 мА·ч 14 ч.
Anthropic раскрыла схему контрабанды ИИ-чипов вперемешку с живыми лобстерами — в Nvidia лишь посмеялись 17 ч.
Кто-то заинтересовался покупкой одного из крупнейших производителей систем жидкостного охлаждения в мире 17 ч.
Microsoft расскажет о новых устройствах Surface на следующей неделе 18 ч.
Vivo представила 125-долларовый смартфон Y19 5G с ИИ-функциями и Dimensity 6300 18 ч.