Сегодня 04 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Российские учёные совершили прорыв в оптимизации ИИ-моделей — теперь их можно использовать без мощных серверов

Лаборатория исследований искусственного интеллекта Yandex Research совместно с учёными из НИУ ВШЭ, Массачусетского технологического института (MIT), Австрийского института науки и технологий (ISTA) и Научно-технологического университета им. короля Абдаллы (KAUST) создала метод сжатия больших языковых моделей (LLM) без потери качества. Теперь для работы с ИИ-моделями достаточно смартфона или ноутбука — не нужно задействовать дорогие серверы и графические ускорители.

 Luke Jones / Unsplash

Luke Jones / Unsplash

Новый метод квантизации получил название Hadamard Incoherence with Gaussian MSE-optimal GridS (HIGGS). Он позволяет сжимать нейросети без использования дополнительных данных и без вычислительно сложной оптимизации параметров. Такой подход особенно выгоден в ситуациях, когда недостаточно подходящих данных для дообучения ИИ-модели. Метод HIGGS обеспечивает баланс между качеством, размером модели и сложностью квантизации, за счёт чего ИИ-модели можно использовать на самых разных устройствах.

С помощью HIGGS можно существенно ускорить процесс тестирования и внедрения новых решений на базе ИИ, экономить время и финансы на разработку. Это сделает ИИ-модели доступнее не только для крупных, но и небольших компаний, а также некоммерческих лабораторий и институтов, индивидуальных разработчиков и исследователей. Если раньше для запуска ИИ-модели на смартфоне или ноутбуке требовалось провести её квантизацию на дорогостоящем сервере (этот процесс занимал от нескольких часов до нескольких недель), то теперь квантизацию можно выполнить прямо на смартфоне или ноутбуке за считанные минуты.

Новый метод квантизации протестировали на популярных ИИ-моделях Llama 3 и Qwen 2.5. В результате было установлено, что HIGGS является лучшим способом квантизации по соотношению качества к размеру модели среди всех существующих аналогов без использования данных, в том числе 4-bit NormalFloat и Half-Quadratic Quantization.

Метод HIGGS уже доступен разработчикам и исследователям на Hugging Face и GitHub, а посвящённая ему научная статья размещена в arXiv. Отметим также, что научную статью с описанием нового метода приняли на одну из крупнейших в мире ИИ-конференций The North American Chapter of the Association for Computation Linguistics (NAACL), которая пройдёт с 29 апреля по 4 мая в Альбукерке (штат Нью-Мексико, США). Статью уже цитировали американская компания Red Hat AI, Пекинский университет, Гонконгский университет науки и технологий и др.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Создатели The Elder Scrolls Online готовили смесь Destiny и «Бегущего по лезвию» — Фил Спенсер не мог оторваться от игры, но её всё равно отменили 12 мин.
Представлен российский сервер Java-приложений WildBoss Pro, способный заменить IBM WebSphere Application Server и Oracle GlassFish Server 2 ч.
Надёжный инсайдер: Techland отменила амбициозную фэнтезийную RPG, но занялась новой Call of Juarez 2 ч.
После ухода генерального директора Илья Суцкевер был вынужден возглавить основанный им стартап Safe Superintelligence 3 ч.
Конец эпохи: Intel закрыла приложение Unison для синхронизации ПК и смартфонов 7 ч.
Минюст США убедил Google и Apple не блокировать TikTok, пообещав их не штрафовать 7 ч.
Destiny: Rising не заставит себя долго ждать — дата выхода и новый геймплейный трейлер 11 ч.
Anthem уйдёт в вечный офлайн — Electronic Arts скоро отключит серверы провального шутера 12 ч.
«Базальт СПО» представила в Китае российский ПАК с китайскими чипами Loongson 13 ч.
Петиция «Прекратите убивать игры» набрала миллион подписей для рассмотрения в Евросоюзе, но борьба ещё не окончена 14 ч.
Беспроводной телевизор LG OLED evo M5 поступил в продажу — $38 220 за  97-дюймовую версию 3 мин.
Мировые поставки умных часов падают уже пять кварталов к ряду — сильнее всего у Apple и Samsung 15 мин.
У Tesla Optimus проблемы с «мускулами» и «разумом» — это отложит старт массового производства 57 мин.
Грузовик «Прогресс МС-31» отправился к МКС с припасами и наборами для опытов 2 ч.
Облако с ИИ: Alibaba расширяет ЦОД в Малайзии и на Филиппинах 3 ч.
Китайские регуляторы надеются одобрить первый автомобиль с автопилотом третьего уровня в следующем году 4 ч.
МТС запустит на транспортной сети сервисные маршрутизаторы BRAS/BNG собственной разработки 4 ч.
CoreWeave стала первым облачным клиентом Nvidia, запустившим эксплуатацию ускорителей Blackwell Ultra 7 ч.
E Ink придумала встроить в тачпад ноутбука экран на электронных чернилах — для общения с ИИ и не только 10 ч.
Новая статья: ИИтоги июня 2025 г.: ой, да было бы что заменять! 11 ч.