Китай поставил дистилляцию американских ИИ-моделей на промышленный поток

Читать в полной версии

Китайские организации находят всё более изощрённые способны использовать результаты работы передовых американских моделей искусственного интеллекта для обучения собственных аналогов. Этим способом Китай стремится расширить свой стратегию в области ИИ и компенсировать ужесточение американских ограничений на доступ к ИИ-ускорителям.

Источник изображений: Igor Omilaev / unsplash.com

Журналисты Reuters проанализировали более 300 китайских научных статей, патентов, корпоративных отчётов и правительственных документов. Они указывают на то, что дистилляция вышла за рамки академических экспериментов и широко применяется в китайской промышленности. В документах описывается, как китайские исследователи используют американские модели для получения ответов на вопросы, написания программного кода и поиска решений сложных задач. Компании разрабатывают ПО для автоматизации этого процесса, а профильные специалисты подготавливают полученные данные для обучения более компактных собственных моделей.

Официальный Пекин поощряет использование метода дистилляции, поскольку он делает технологии ИИ более доступными и упрощает их внедрение в производственном секторе. Дистилляция не является незаконной и широко практикуется в других странах. Этот процесс не позволяет полностью воспроизводить возможности передовых ИИ-моделей или исключить потребность в мощных вычислительных ресурсах, но даёт разработчикам возможность переносить отдельные навыки в менее масштабные системы, эксплуатация которых обходится дешевле. Это помогает Китаю снижать зависимость от американских технологий. Расширение практики дистилляции в Китае ослабляет эффективность американских ограничений на продажу передовых ИИ-ускорителей.

В сентябре власти США открыто обвинили китайские компании в активной и целенаправленной дистилляции американских моделей ИИ в промышленных масштабах. Представители Министерства торговли США выразили китайским регуляторам обеспокоенность по поводу сбора данных, генерируемых ведущими американскими ИИ-моделями. Эти действия могут быть квалифицированы как кража интеллектуальной собственности, предупредила американская сторона. В ответ на это китайские чиновники назвали дистилляцию стандартным методом разработки ИИ. Они заявили о готовности принять меры в случае квалификации подобных действий как кражи интеллектуальной собственности, но не дали конкретных обязательств.

Дистилляция предполагает использование более мощной модели, выступающей в роли «учителя» и генерирующей ответы или демонстрирующей выполнение задач. Затем эти результаты применяются разработчиками для обучения менее масштабной модели — «ученика». Такой подход привлекателен тем, что позволяет использовать результаты одного дорогостоящего запроса для многократного решения задач, пояснил бывший инженер Alibaba.

В статье от ноября 2024 года исследователи из Шанхайского университета Цзяотун описали процесс отбора около 5000 ответов, полученных от модели OpenAI o1. Эти ответы были переведены с помощью GPT-4o mini, на основе чего был сформирован массив из 10 750 двуязычных примеров, использовавшихся для дальнейшего обучения модели Alibaba Qwen2.5-72B. Тем не менее чрезмерная зависимость от дистилляции способна затормозить развитие инноваций в Китае и сделать разработчиков заложниками прорывов, которых добиваются создатели более продвинутых американских моделей.

В статье от апреля 2025 года исследователи Alibaba описали систематический подход к генерации ответов моделями OpenAI GPT-4 и GPT-4o, которые использовались в качестве обучающих материалов на языках, отличных от китайского. Полученные ответы дорабатывались и оценивались, после чего применялись для обучения компактных моделей Qwen. В публикации от февраля исследователи Шанхайского университета Цзяотун и китайской компании Meituan рассказали об использовании GPT-4o для разработки планов координации ИИ-агентов, совместно решающих задачи по программированию. Эти данные помогли обучить менее масштабную модель для организации подобных процессов.

Китайские правительственные документы не содержат прямых указаний компаниям заниматься дистилляцией американских ИИ-моделей, но этот метод поощряется: существуют рекомендации по обучению, дообучению и дистилляции моделей для нужд промышленности. В последние месяцы китайские разработчики ИИ, обеспокоенные обострением дискуссии о дистилляции, обратились к профильному регулятору за разъяснениями: где пролегает грань между использованием зарубежных моделей и систематическим сбором их выходных данных для обучения собственных систем.