MWC 2018
2018
Computex
IFA 2018
Китайская компания Moonshot AI представила большую языковую модель Kimi K3 — она располагает 2,8 трлн параметров и поддерживает до 1 млн токенов, умея работать не только с текстом, но также с изображениями и видео. Модель справляется со сложными задачами на программирование, научными исследованиями и прочими многоэтапными задачами.
Источник изображений: kimi.com
Разработчики признают, что по возможностям Kimi K3 пока уступает самым мощным в мире закрытым моделям — Anthropic Claude Fable 5 и OpenAI GPT-5.6 Sol; но среди открытых она в большинстве тестов демонстрирует лучшие результаты. Полные веса модели компания намерена опубликовать до 27 июля вместе с техническим отчётом, где будут представлены описание архитектуры, механизмы обучения и результаты тестирования.
Главные изменения по сравнению с предыдущим поколением — архитектура Kimi Delta Attention (KDA) и механизм Attention Residuals (AttnRes). Они позволяют модели эффективнее удерживать контекст при длительных цепочках рассуждений. Архитектура Mixture-of-Experts (MoE) включает 896 «экспертов», из которых одновременно активируются 16, что значительно снижает вычислительную нагрузку.
На практике эти решения позволяют Kimi K3 работать с очень крупными репозиториями кода, самостоятельно обращаться к интерфейсу командной строки и средствам разработки, анализировать скриншоты интерфейсов, а также помогать в разработке игр, веб- и CAD-проектов. В рамках испытаний модель написала собственный компилятор для программирования графических процессоров, а также за 48 часов спроектировала собственный чип для инференса ИИ на собственной архитектуре: в симуляции кристалл площадью 4 мм² с тактовой частотой 100 МГц генерировал 8700 токенов в секунду.
Когда модели поставили задачу в области вычислительной астрофизики, она самостоятельно изучила 20 научных статей, спроектировала вычислительный конвейер, обработала более 300 уравнений состояния, нашла несоответствия в опубликованных формулах, написала более 3000 строк на Python и визуализировала результаты в HTML. У человека эта работа заняла бы до двух недель — модель справилась за два часа.
Kimi K3 является мультимодальной. Она умеет работать с видео: создавать обучающие ролики и заниматься монтажом, подбирать фрагменты видео и синхронизировать визуальный ряд с музыкой: в одном из примеров она самостоятельно смонтировала рекламное видео из 56 исходных фрагментов — даже у опытного монтажёра эта задача заняла бы до двух рабочих дней.
Источник:
