Сегодня 28 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ чат-боты «думают» на английском, даже когда говорят на других языках

Большие языковые модели (LLM), лежащие в основе чат-ботов, «думают» на английском языке, даже если вопросы задаются на других языках, пишет ресурс New Scientist со ссылкой на исследование учёных Федеральной политехнической школы Лозанны. Чтобы понять, какой язык на самом деле используют LLM при обработке запросов, учёные изучили три версии модели Llama 2 компании Meta. Благодаря тому, что Llama 2 имеет открытый исходный код, исследователи смогли ознакомиться с каждым этапом обработки запроса.

 Источник изображения: geralt/Pixabay

Источник изображения: geralt/Pixabay

По словам одного из исследователей, они открыли эти модели и изучили каждый из их слоёв. ИИ-модели состоят из нескольких слоёв, каждый из которых отвечает за определённый этап обработки запроса: один переводит письменные подсказки в токены, другой контекстуализирует каждый токен, чтобы в итоге дать ответ.

Моделям были предложены три типа запросов на китайском, французском, немецком и русском языках. В одном случае предлагалось повторить заданное слово, во втором — перевести с одного неанглийского языка на другой, и в третьем — заполнить пробел в одно слово в предложении, например: «___ используется для занятий такими видами спорта, как футбол и баскетбол».

Отследив процессы, через которые проходит LLM, чтобы ответить на запрос, учёные обнаружили, что путь обработки через слои почти всегда проходит через то, что они называют английским подпространством. То есть, если предложить модели перевести с китайского на русский, русские символы проходят через английское подпространство, прежде чем вернуться на русский, говорит учёный, что является убедительным признаком того, что модели используют английский, чтобы помочь себе понять суть запроса.

Это вызвало у учёных обеспокоенность по поводу того, что использование английского языка в качестве посредника для обучения модели анализу языка несёт с собой риск распространить связанные с этим ограничения в мировоззрении на другие лингвистически и культурно отличающиеся регионы.

«Если английский станет основным языком, на котором системы обрабатывают запросы, мы, скорее всего, потеряем концепции и нюансы, которые можно оценить только на других языках», — говорит Карисса Велиз (Carissa Véliz) из Оксфордского университета.

Существуют также более фундаментальные риски, связанные с кодированием используемых во всем мире генеративных ИИ с англоцентрическими ценностями, сообщила Алия Бхатия (Aliya Bhatia) из Центра демократии и технологий в Вашингтоне (округ Колумбия). «Если модель используется для генерации текста на языке, которому она не обучена, это может привести к культурно нерелевантным галлюцинациям, а если модель используется для принятия решений о предоставлении убежища для сообщества, которое не вписывается в англоцентрическое воображение обществе, модель может стоять между человеком и доступом к безопасности», — говорит она.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Нашумевшая Clair Obscur: Expedition 33 разошлась тиражом 1 млн копий всего за три дня после релиза 6 ч.
Знаменитая антипиратская кампания из 2000-х использовала спираченный шрифт 8 ч.
Исследователи Anthropic и Google поищут признаки сознания у ИИ — ещё недавно за подобное увольняли 13 ч.
Baidu обновила ИИ-модели Ernie 4.5 Turbo и Ernie X1 Turbo и снизила их стоимость на 80 и 50 % соответственно 19 ч.
Google ускорила Find My Device в 4 раза и скоро подключит UWB 21 ч.
Новая статья: The Elder Scrolls IV: Oblivion Remastered — врата ностальгии распахнуты. Рецензия 27-04 00:02
Новая статья: Gamesblender № 723: ремастер TES IV: Oblivion, дата выхода Ghost of Yotei и кибердемоны в новой Doom 26-04 23:51
Социальная сеть Threads получила новое доменное имя и обновила веб-версию приложения 26-04 23:04
У подразделения «Яндекса», включающего Yandex Cloud, выручка выросла более чем в 1,5 раза 26-04 22:45
Уязвимость EntrySign в Ryzen 9000 наконец-то будет закрыта — свежие версии BIOS получили заплатку 26-04 17:44