Сегодня 28 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → higgs

Российские учёные совершили прорыв в оптимизации ИИ-моделей — теперь их можно использовать без мощных серверов

Лаборатория исследований искусственного интеллекта Yandex Research совместно с учёными из НИУ ВШЭ, Массачусетского технологического института (MIT), Австрийского института науки и технологий (ISTA) и Научно-технологического университета им. короля Абдаллы (KAUST) создала метод сжатия больших языковых моделей (LLM) без потери качества. Теперь для работы с ИИ-моделями достаточно смартфона или ноутбука — не нужно задействовать дорогие серверы и графические ускорители.

 Luke Jones / Unsplash

Luke Jones / Unsplash

Новый метод квантизации получил название Hadamard Incoherence with Gaussian MSE-optimal GridS (HIGGS). Он позволяет сжимать нейросети без использования дополнительных данных и без вычислительно сложной оптимизации параметров. Такой подход особенно выгоден в ситуациях, когда недостаточно подходящих данных для дообучения ИИ-модели. Метод HIGGS обеспечивает баланс между качеством, размером модели и сложностью квантизации, за счёт чего ИИ-модели можно использовать на самых разных устройствах.

С помощью HIGGS можно существенно ускорить процесс тестирования и внедрения новых решений на базе ИИ, экономить время и финансы на разработку. Это сделает ИИ-модели доступнее не только для крупных, но и небольших компаний, а также некоммерческих лабораторий и институтов, индивидуальных разработчиков и исследователей. Если раньше для запуска ИИ-модели на смартфоне или ноутбуке требовалось провести её квантизацию на дорогостоящем сервере (этот процесс занимал от нескольких часов до нескольких недель), то теперь квантизацию можно выполнить прямо на смартфоне или ноутбуке за считанные минуты.

Новый метод квантизации протестировали на популярных ИИ-моделях Llama 3 и Qwen 2.5. В результате было установлено, что HIGGS является лучшим способом квантизации по соотношению качества к размеру модели среди всех существующих аналогов без использования данных, в том числе 4-bit NormalFloat и Half-Quadratic Quantization.

Метод HIGGS уже доступен разработчикам и исследователям на Hugging Face и GitHub, а посвящённая ему научная статья размещена в arXiv. Отметим также, что научную статью с описанием нового метода приняли на одну из крупнейших в мире ИИ-конференций The North American Chapter of the Association for Computation Linguistics (NAACL), которая пройдёт с 29 апреля по 4 мая в Альбукерке (штат Нью-Мексико, США). Статью уже цитировали американская компания Red Hat AI, Пекинский университет, Гонконгский университет науки и технологий и др.


window-new
Soft
Hard
Тренды 🔥
ИИ-аватар позволяет пообщаться с покойным создателем комиксов о человеке-пауке и героях Marvel 18 мин.
Spotify начнёт маркировать музыку с ИИ и запретит клонированные голоса 2 ч.
Функции YouTube Premium теперь стали доступны на всех устройствах — iOS, Android и ПК 2 ч.
Новая статья: Dying Light: The Beast — свобода или клетка? Рецензия 8 ч.
Российская платформа для разработки GitFlic дополнилась интеграцией с системами управления проектами 16 ч.
«Фотографии» в Windows 11 научатся автоматически сортировать изображения и распознавать надписи не только на английском 16 ч.
В смартфонах OnePlus обнаружена дыра в безопасности — любое приложение может читать все SMS без разрешения 18 ч.
«Бро постит ИИ-бурду у себя в приложении»: Meta запустила платформу Vibes для коротких ИИ-видео 18 ч.
YouTube Music превратили в подобие радио с ИИ-ведущими, которые «расширят музыкальные горизонты» 20 ч.
Сделка с TikTok оставляет дыру в нацбезопасности США — роль Oracle раскритиковали 23 ч.
Meta хотела бы стать крупным поставщиком ПО для человекоподобных роботов 2 ч.
Oracle взяла на себя ещё $18 млрд долга для расширения бизнеса и строительства ИИ-инфраструктуры 8 ч.
Учёные нашли у Земли седьмую «ложную Луну» — квазиспутник 2025 PN7 10 ч.
Энтузиасты объединили двенадцать dial-up модемов для просмотра YouTube без тормозов 12 ч.
Horizon Fuel Cell представила 3-МВт модуль с водородными топливными элементами для замены дизель-генераторов 15 ч.
Чип с «сосудами»: Microsoft и Corintis вытравили микроканалы для СЖО прямо в кремнии 15 ч.
Учёные запустили самую большую и детальную симуляцию Вселенной — она поможет в поиске тёмных материи и энергии 16 ч.
Майнинговая компания Iren увеличила мощность ИИ-облака, закупив тысячи ускорителей NVIDIA и AMD за $674 млн 16 ч.
Samsung уронила цены на выпуск 2-нм чипов — на треть дешевле TSMC 18 ч.
Трамп собрался привязать пошлины на импортную электронику к числу чипов в ней 24 ч.