ИИ-модель OpenAI o1 иногда думает на китайском языке, и никто не знает почему

Рассуждающая ИИ-модель OpenAI o1 удивляет лингвистическими способностями, переключаясь в процессе решения задач на разные языки, в том числе на китайский, даже если запрос был сделан на английском. Эксперты теряются в догадках, а OpenAI не спешит с объяснениями.

Источник изображения: hdhAI

OpenAI в прошлом году представила свою первую модель искусственного интеллекта (ИИ) с функциями рассуждения — o1. Однако пользователи заметили любопытную особенность: модель иногда начинает размышлять на китайском, персидском или других языках, даже если вопрос был задан на английском. Например, при решении задачи «Сколько букв R в слове strawberry?» o1 может выполнить часть рассуждений на китайском, прежде чем выдать окончательный ответ на английском.

Эксперты выдвигают несколько теорий, объясняющих это явление. Одной из них является гипотеза о влиянии китайских данных, на которых обучалась модель. Клемент Деланж (Clement Delangue), генеральный директор компании Hugging Face, разрабатывающей инструменты для создания приложений с использованием машинного обучения, и Тед Сяо (Ted Xiao), исследователь из Google DeepMind, отмечают, что многие компании, включая OpenAI, используют услуги сторонних китайских компаний для разметки данных, необходимых для обучения моделей. Это, по их мнению, и может приводить к тому, что модель o1 в некоторых случаях предпочитает в своих рассуждениях китайский язык, как более эффективный для обработки информации.

Однако не все согласны с этой теорией. Некоторые специалисты указывают на то, что влияние китайских данных не подтверждено и модель на самом деле может переключаться на разные языки, включая хинди и тайский. Это может быть связано с тем, что o1 просто выбирает наиболее удобный для себя способ решения задачи. По словам Мэтью Гуздиала (Matthew Guzdial), исследователя ИИ из университета Альберты, модель o1 не воспринимает языки как отдельные сущности, для неё это обычный текст, состоящий из набора токенов, который она обрабатывает.

В конечном итоге, точные причины поведения модели, рассуждающей на разных языках остаются загадкой. Лука Солдаини (Luca Soldaini), научный сотрудник Allen Institute for AI, подчёркивает, что из-за «непрозрачности ИИ-моделей невозможно точно установить, что происходит внутри» и как это всё функционирует. Сама OpenAI пока отмалчивается.