Следующий флагманский чип Qualcomm позволит запускать на смартфонах ИИ-модели до 30 млрд параметров

Компания Qualcomm представит микропроцессоры Snapdragon 8 Gen 6, включая две флагманские версии Elite, в рамках мероприятия Snapdragon Summit, которое состоится 22 сентября. Хотя точные названия новых чипов остаются загадкой, Qualcomm постепенно раскрывает связанную с ними информацию.

Ранее компания представила обновлённую архитектуру процессорных ядер Oryon, за счёт которой мобильный чипы компании смогут работать на частоте выше 5 ГГц. В дополнение к этому были раскрыты некоторые подробности касательно обновлённой графической подсистемы с улучшенной технологией масштабирования кадров. Теперь же вендор раскрыл информацию об улучшениях нейронного сопроцессора (NPU), который отвечает за обработку задач искусственного интеллекта.

Новое поколение Hexagon NPU создано для обеспечения работоспособности ИИ-приложений на локальном устройстве, в первую очередь ИИ-агентов. По данным Qualcomm, ключевыми улучшениями NPU стали обновлённый Element Accelerator и значительно увеличенный объём памяти. Element Accelerator представляет собой специализированный компонент, который теперь располагается рядом с блоками скалярных, векторных и тензорных вычислений.

Qualcomm заявила, что он предназначен для ускорения работы генеративных алгоритмов, за счёт чего ИИ-агенты будут отвечать быстрее, а их рассуждения станут эффективнее, что обеспечит более богатый опыт взаимодействия без дополнительных энергозатрат. Вендор ещё не озвучил точные характеристики модуля NPU, но известно, что он имеет больше собственной памяти, что снизит зависимость от основного модуля оперативной памяти устройства при обмене данными из кэша. Проще говоря, NPU сможет держать в памяти больше контекста, тем самым создавая больше пространства для более тяжёлых рабочих нагрузок, особенно при выполнении агентных задач.

Qualcomm также заявила, что Hexagon NPU поддерживает новую ИИ-архитектуру, созданную специально для моделей Mixture-of-Experts. Это означает, что более крупные модели смогут работать на устройстве, используя лишь часть параметров с помощью так называемой «маршрутизированной» модели. MoE направляет запросы через специализированные экспертные модели в зависимости от входных данных, что снижает требования к вычислительным ресурсам и потребление памяти. Qualcomm заявила, что новая архитектура позволит запускать локально ИИ-модели размером до 30 млрд параметров.

Ещё в заявлении Qualcomm сказано, что новый NPU обеспечивает «на 50 % более высокую производительность на этапе предварительной обработки, более высокую пропускную способность при декодировании», а также ряд других улучшений. Отметим, что эти заявления относятся к ИИ-моделям с поддержкой режима вычислений INT4 и не указывают на 50 % прироста общей производительности ИИ-модуля. Однако новый NPU позволит ИИ-моделям быстрее и эффективнее обрабатывать запросы, а также выполнять многоэтапные задачи.

Наиболее заметное улучшение связано с повышением производительности для локального запуска ИИ-агентов. Qualcomm заявила, что улучшения в новых чипах Snapdragon Elite в совокупности позволят сделать реальные агентные рабочие процессы, а не просто привычные ИИ-запросы, «более эффективными и отзывчивыми» прямо на устройстве.