Сегодня 06 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → higgs

Российские учёные совершили прорыв в оптимизации ИИ-моделей — теперь их можно использовать без мощных серверов

Лаборатория исследований искусственного интеллекта Yandex Research совместно с учёными из НИУ ВШЭ, Массачусетского технологического института (MIT), Австрийского института науки и технологий (ISTA) и Научно-технологического университета им. короля Абдаллы (KAUST) создала метод сжатия больших языковых моделей (LLM) без потери качества. Теперь для работы с ИИ-моделями достаточно смартфона или ноутбука — не нужно задействовать дорогие серверы и графические ускорители.

 Luke Jones / Unsplash

Luke Jones / Unsplash

Новый метод квантизации получил название Hadamard Incoherence with Gaussian MSE-optimal GridS (HIGGS). Он позволяет сжимать нейросети без использования дополнительных данных и без вычислительно сложной оптимизации параметров. Такой подход особенно выгоден в ситуациях, когда недостаточно подходящих данных для дообучения ИИ-модели. Метод HIGGS обеспечивает баланс между качеством, размером модели и сложностью квантизации, за счёт чего ИИ-модели можно использовать на самых разных устройствах.

С помощью HIGGS можно существенно ускорить процесс тестирования и внедрения новых решений на базе ИИ, экономить время и финансы на разработку. Это сделает ИИ-модели доступнее не только для крупных, но и небольших компаний, а также некоммерческих лабораторий и институтов, индивидуальных разработчиков и исследователей. Если раньше для запуска ИИ-модели на смартфоне или ноутбуке требовалось провести её квантизацию на дорогостоящем сервере (этот процесс занимал от нескольких часов до нескольких недель), то теперь квантизацию можно выполнить прямо на смартфоне или ноутбуке за считанные минуты.

Новый метод квантизации протестировали на популярных ИИ-моделях Llama 3 и Qwen 2.5. В результате было установлено, что HIGGS является лучшим способом квантизации по соотношению качества к размеру модели среди всех существующих аналогов без использования данных, в том числе 4-bit NormalFloat и Half-Quadratic Quantization.

Метод HIGGS уже доступен разработчикам и исследователям на Hugging Face и GitHub, а посвящённая ему научная статья размещена в arXiv. Отметим также, что научную статью с описанием нового метода приняли на одну из крупнейших в мире ИИ-конференций The North American Chapter of the Association for Computation Linguistics (NAACL), которая пройдёт с 29 апреля по 4 мая в Альбукерке (штат Нью-Мексико, США). Статью уже цитировали американская компания Red Hat AI, Пекинский университет, Гонконгский университет науки и технологий и др.


window-new
Soft
Hard
Тренды 🔥
Дорого и опасно: европейская ассоциация издателей выступила против инициативы Stop Killing Games, которая защищает права игроков 5 ч.
Анонсирован HellHeart Breaker — гибрид роглайт-экшена и симулятора свиданий 6 ч.
Новая статья: Death Stranding 2: On the Beach — сиквел, который понравится не всем. Рецензия 21 ч.
Новая статья: Gamesblender № 733: «умирающая» Xbox, возвращение Red Dead Online и AMD FSR 4 на PlayStation 22 ч.
Рынок российского ПО за год вырос на четверть и приблизился к 2,5 трлн руб. 05-07 13:27
Еврокомиссия подтвердила: правила по ИИ вступят в силу без отсрочки 05-07 04:08
Microsoft закрыла офис в Пакистане после 25 лет работы 05-07 04:06
ChatGPT стал инструментом для фишеров — пользователи получают неправильные ссылки 05-07 04:03
Новая статья: Two Falls (Nishu Takuatshina) — в поисках взаимопонимания. Рецензия 05-07 00:00
Продюсер Xbox посоветовал уволенным сотрудникам обратиться к ИИ, чтобы «снять эмоциональную нагрузку» 04-07 23:53
Let's Encrypt начал выдавать бесплатные сертификаты для IP-адресов, но нужно это немногим 5 ч.
Учёные придумали точное «рентгеновское» зрение для роботов на базе технологии, родственной Wi-Fi 6 ч.
Грузовой космический корабль «Прогресс МС-31» доставил 2,6 т припасов, оборудования и топлива на МКС 12 ч.
Космические похороны пошли не по плану: стартап TEC потерял прах 166 человек в Тихом океане 12 ч.
Esperanto, создатель уникального тысячеядерного RISC-V-ускорителя, закрывается — всех инженеров переманили крупные компании 21 ч.
Глобальные выбросы углекислого газа установили новый рекорд, несмотря на все усилия и потраченные средства 24 ч.
Потеряшек не будет: зонд NASA «Новые горизонты» нашёл себя среди звёзд без помощи с Земли 05-07 15:32
Повальный спрос на HBM тормозит внедрение CXL- и PIM-памяти 05-07 15:16
Компактный компьютер Asus на суперчипе Nvidia Grace Blackwell выйдет 22 июля 05-07 15:15
Маску дали разрешение на 15 турбин для питания ИИ-суперкомпьютера xAI Colossus, но на снимках по-прежнему видны 24 турбины 05-07 14:25