MWC 2018
2018
Computex
IFA 2018
Китайская Moonshot выполнила своё обещание и бесплатно опубликовала веса революционной модели искусственного интеллекта Kimi-K3. Теперь любой обладатель достаточно мощных вычислительных ресурсов может запустить её на своём оборудовании.
Источник изображений: kimi.com
На практике подтвердилось, что Kimi-K3 значительно превосходит модели OpenAI GPT и Anthropic Claude предыдущих поколений и лишь немного уступает передовым Sol и Fable. При этом эксплуатация китайской модели обходится в 2–3 раза дешевле американских аналогов, а если запрос попадает в кеш, то и в 10 раз. За ввод данных на своих ресурсах Moonshot AI взимает $3 за 1 млн токенов; для сравнения, Anthropic Fable обходится в $10, а OpenAI GPT-5.6 Sol — $5. И это для некешированных входных данных; а механизмы кеширования Kimi-K3 обеспечивают попадание на 90 % для задач на написание кода, и $3 превращаются в $0,30 за тот же 1 млн токенов. Аналогичная ситуация и с выходными токенами.
Вероятнее всего, такой эффективности разработчики добились за счёт комбинации формата чисел MXFP4 для хранения весов и MXFP8 для активации входных данных — в обоих случаях точность относительно низкая, что помогает экономить память. Из 2,8 трлн параметров Kimi-K3 одновременно активны только 104,2 млрд. Интересно, что в описании упоминается работа модели только на относительно скромных ускорителях Nvidia H20, которые не имеют встроенной поддержки MX с плавающей запятой в отличие от чипов семейства Blackwell, которые не поставляются в Китай. Это значит, что Kimi-K3 оптимизирована для работы на менее мощном оборудовании, а запуск на передовых Nvidia Blackwell или других ускорителях с поддержкой MXFP может сделать её более экономичной, но официальными данными это пока не подтверждено.
Кроме того, Kimi-K3 не пользуется хранилищем key-value (KV), вместо которого предлагается обработчик состояний фиксированного размера Kimi Delta Attention, в теории обещающий экономить видеопамять и сокращать время выполнения. Алгоритм MoE (Mixture-of-Experts) предполагает запуск всего 16 из 896 «экспертов», что дополнительно способствует снижению затрат на вывод. Стоит, однако отметить, что открытые веса не означают открытого исходного кода: процесс обучения и набор данных Moonshot держит в секрете.
Источник:
