В феврале основатель китайской поисковой службы Sogou (входит в Tencent) Ван Сяочуань (Wang Xiaochuan) написал в соцсети Weibo, что «Китаю нужна своя OpenAI». С реализацией плана предприниматель затягивать не стал — его стартап Baichuan Intelligence создал и выложил в открытый доступ большую языковую модель искусственного интеллекта Baichuan-13B.
Источник изображения: Gerd Altmann / pixabay.com
Baichuan считается одним из наиболее многообещающих китайских разработчиков больших языковых моделей — основателем компании является выпускник Университета Цинхуа, который создал поисковую службу Sogou, впоследствии поглощённую местным технологическим гигантом Tencent. Ван покинул Sogou в конце 2021 года. Когда платформа ChatGPT уже стала мировой сенсацией, бизнесмен запустил стартап Baichuan и оперативно собрал инвестиции на $50 млн.
Как следует из названия, обученная на китайском и английском большая языковая модель Baichuan-13B на архитектуре Transformer (она же лежит в основе GPT) имеет 13 млрд параметров — переменных, которые используются при генерации текста. Исходный код платформы выложен на GitHub и оптимизирован для коммерческого использования. Baichuan-13B обучена на 1,4 трлн токенов — для сравнения, модель Meta✴ LlaMa с теми же 13 млрд параметров была обучена на 1 трлн токенов.
Стартап Baichuan развивается с неимоверной скоростью. Открывшаяся в апреле компания к концу месяца расширила штат до 50 человек, а в июне опубликовала первую большую языковую модель Baichuan-7B с 7 млрд параметров. Новая Baichuan-13B доступна бесплатно для учёных и разработчиков, получивших разрешение на её использование в коммерческих целях. Стоит отметить, создатели учли введённые США антикитайские санкции, и модель можно запускать на системах с комплектующими потребительского класса, включая видеокарты NVIDIA GeForce RTX 3090.