MWC 2018
2018
Computex
IFA 2018
Американская лаборатория искусственного интеллекта Nous Research провела процедуру дополнительного обучения для популярной ИИ-модели Alibaba Qwen3.8-27B, чтобы избавить её от «китайских корней». В результате она начала давать ответы, которые разработчики оригинальной модели не всегда сочли бы приемлемыми.
Источник изображений: alibabagroup.com
Прошедшая дополнительное обучение модель Alibaba Qwen3.8-27B получила новое название Arete; цель проекта — «утвердить западные ценности в модели, изначально обученной в Китае». Замысел проекта обусловили соображения о том, что «китайские модели с открытыми весами — одни из самых мощных на сегодняшний день, но в их веса изначально заложено поведение, отвечающее государственной идеологии Китая», пояснили американские разработчики.
Связанные с китайскими ИИ-моделями угрозы не всегда ограничиваются лишь продвижением идеологии Пекина: при определённых условиях некоторые из них могут генерировать уязвимый программный код. Применение методов переобучения к модели Alibaba Qwen3.6-35B-A3B компанией Hirundo, в частности, привело к резкому сокращению объёма контента, отражающего предпочтения Пекина. Если до начала процесса этим установкам соответствовали 89,8 % ответов модели, то после переобучения этот показатель снизился до 2,8 %.
Исследователи Nous Research добились менее впечатляющих, хотя и заметных результатов: показатель фактической точности у модели Arete-27B вырос с 2,32 до 2,98 по пятибалльной шкале, а доля содержащих пропаганду ответов снизилась с 22 % до 1 %. Такие показатели демонстрируют протестированные в лаборатории западные модели. При выборе средств для переобучения Arete специалисты Nous Research рассматривали модель Nvidia Nemotron 3 Ultra, но обнаружили, что и она «демонстрировала неоднозначный подход к связанным с Китаем темам». Этот эффект они связали с тем, что при обучении самой Nemotron, возможно, также использовались китайские модели.
В итоге выбор пал на открытую модель Inkling, выпущенную американской лабораторией Thinking Machines Lab. Как показал опыт, пропагандистский пласт в Alibaba Qwen3.8-27B имеет поверхностный характер: он относительно легко устраняется на обучающем объёме данных в 50 млн токенов.
Источник:
