|
Опрос
|
реклама
Быстрый переход
PrismML представила компактную ИИ-модель для запуска прямо на смарт-очках с чипами Qualcomm
25.09.2026 [13:19],
Павел Котов
Лаборатория искусственного интеллекта PrismML разработала специальную версию одной из своих компактных языковых моделей, предназначенную для локальной работы на умных очках, оснащённых чипами Qualcomm Snapdragon.
Источник изображения: PrismML На мероприятии Snapdragon Summit компания Qualcomm продемонстрировала 1-битную модель PrismML Bonsai, способную работать локально на умных очках с ИИ, созданных на базе платформы Snapdragon AR1 Gen 1. Компания PrismML занимается сжатием крупных моделей с сохранением качества ответов — в данном случае это было сжатие в четыре раза. Версия для умных очков представляет собой модель размером 2 млрд параметров, оптимизированную для обработки текстовой и визуальной информации. На практике владельцы таких очков смогут в реальном времени получать ответы на вопросы о том, что видят перед собой. PrismML выпускает ИИ-модели с открытыми весами, предназначенные для работы непосредственно на устройствах, максимально задействуя их имеющиеся вычислительные мощности. Стартап позиционирует это решение как альтернативу зависимости от обещаний конфиденциальности со стороны разработчиков проприетарного ИИ. ИИ-лаборатория совместно с Qualcomm оптимизировала веса и архитектуру модели специально для нейропроцессора Hexagon. По качеству работы модель сопоставима с системами с 4-битной точностью, но при этом она потребляет вчетверо меньше памяти и генерирует токены более чем вдвое быстрее. В результате взаимодействие с ней становится более естественным, а контекст данных сохраняется на самом устройстве. PrismML и Qualcomm Technologies намерены и далее продолжать сотрудничество, оптимизируя всё более совершенные модели Bonsai для работы на платформах Snapdragon. Технологии ИИ внедряются в умные очки, прочие носимые устройства и окружающую нас технику, поэтому очередной качественный скачок не получится обеспечить одним лишь наращиванием вычислительной мощности. PrismML представила не очень большую языковую модель, которая почти не хуже большого оригинала
18.09.2026 [10:51],
Павел Котов
Лаборатория искусственного интеллекта PrismML представила новую языковую модель, которая имеет достаточно компактные размеры, чтобы работать на обычных ПК и мощных смартфонах. Компания делает ставку на то, что подобные системы не обязательно должны иметь колоссальные размеры.
Источник изображения: BoliviaInteligente / unsplash.com Новая в линейке языковая модель PrismML Bonsai 2 27B представляет собой версию популярной открытой системы Alibaba Qwen3.8 27B, но в достаточно компактном размере — всего 5,9 Гбайт. Таким образом она легко поместится на ПК или может запускаться даже на флагманском смартфоне. Объём модели сокращён в 9–10 раз по сравнению с оригиналом. Технология сжатия, которую применяет PrismML, уникальна, утверждает разработчик: созданные компанией модели практически не теряют в показателях производительности в сравнении с оригиналами. Новая Bonsai 2 демонстрирует 98 % от совокупных результатов бенчмарков, которые показала Qwen. Этот показатель выше, чем у выпущенной в марте первой Qwen, которая обеспечивала 95 % оригинала. И если оригинальную скачали 11 млн раз, то компактные модели PrismML — 2,6 млн раз. Таким образом, демонстрируемые стартапом результаты сжатия улучшаются от версии к версии. Удастся ли когда-нибудь достичь соответствия на все 100 %, вопрос открытый, да он и не имеет особого практического значения. Оригинальные модели не настолько точны, и бенчмарки не настолько идеально отражают реальные задачи, чтобы снижение эффективности на 2 % оказало существенное влияние на работу в реальных условиях. Важным фактором остаётся и программная обвязка. Внушительных результатов, поясняют в PrismML, удаётся достичь за счёт уменьшения размера весов, составляющих модель. Обычно на каждый требуются 16 бит — стартап же использует тернарные веса, то есть сокращает этот объём до трёх значений: «+1», «0» и «-1». Из-за того, что для каждого веса требуется хранить гораздо меньше данных, то и модель занимает значительно меньше места. Стартап планирует применить этот метод сжатия к ещё более крупным моделям — с сотнями миллиардов параметров; разработчики уверены, что в них будет проще сохранить «интеллект», потому что по мере роста размера модели расширяются возможности для сжатия без потери способностей. Возможно, с ними будет проще добиться соответствия на 100 %. |