Вслед за презентацией компактной ИИ-модели Phi-3-vision, компания Microsoft представила на ежегодной конференции Microsoft Build 2024 ещё одну малую языковую модель (SLM) Phi-3-Silica, которая будет использоваться на компьютерах класса Copilot Plus PC. Эти ПК оснащены чипами со встроенным нейронным сопроцессором (NPU), обеспечивающим локальную работу функций на основе ИИ.
Источник изображения: Pixabay
Это самая маленькая из всех моделей семейства Phi-3, обладающая 3,3 млрд параметров. Семейство Phi-3 также включает модель Phi-3-mini с 3,8 млрд параметров, Phi-3-vision (4,2 млрд параметров), Phi-3-small (7 млрд параметров) и Phi-3-medium (14 млрд параметров).
Как ожидается, первые ноутбуки под брендом Copilot Plus PC со встроенной Phi-3-Silica поступят в продажу в июне этого года. По данным Microsoft, показатель Time to first token (TTFT) у Phi-3-Silica составляет 650 токенов в секунду, а при работе модель потребляет около 1,5 Вт, освобождая мощности процессора и графического ускорителя ПК для обработки других вычислений. При генерации токенов модель повторно использует кеш-память KV NPU, сама генерация осуществляется на ЦП со скоростью примерно 27 токенов в секунду.
«Модели Phi-3 значительно превосходят языковые модели того же и большего размера по ключевым показателям. Phi-3-mini работает лучше, чем модели вдвое большего размера, а Phi-3-small и Phi-3-medium превосходят гораздо более крупные модели, включая GPT-3.5T», — отметила Microsoft.