Сегодня 18 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → концепция

Способность ИИ к пониманию собственных слов оказалась «потёмкинской»

Учёные Массачусетского технологического института, Гарвардского и Чикагского университетов предложили ввести термин «потёмкинское понимание» и обозначить им обнаруженное в больших языковых моделях искусственного интеллекта несоответствие между правильными ответами на вопросы и неспособностью по-настоящему их понимать, чтобы применять эту информацию на практике.

 Источник изображения: Aidin Geranrekab / unsplash.com

Источник изображения: Aidin Geranrekab / unsplash.com

Термин восходит к опровергнутой теперь легенде о «потёмкинских деревнях»: когда императрица Екатерина II в 1787 году приехала в Крым, князь Григорий Потёмкин показывал ей декорации, которые выдавал за настоящие деревни. «Потёмкинское мышление» отличается от «галлюцинаций», при которых ИИ с уверенностью даёт заведомо не соответствующие действительности ответы, — это неспособность понимать концепции так, как это делает человек. В такой ситуации модель успешно проходит контрольный тест, но не понимает связанных с собственным ответом концепций.

«„Потёмкины“ для концептуального знания являются тем же, чем являются галлюцинации для фактических знаний — при галлюцинациях фабрикуются ложные факты; при „потёмкиных“ фабрикуется ложная связь между понятиями», — поясняют авторы предложенный ими термин. В исследовании приводится наглядный пример. Модель OpenAI GPT-4o попросили объяснить, что такое перекрёстная схема рифмовки ABAB — та дала правильный ответ, указав на чередование рифм в первой и третьей, а также второй и четвёртой строках. Но когда её попросили подставить пропущенное слово в четверостишии с перекрёстной рифмовкой, та предложила вариант, который не рифмовался должным образом. То есть модель верно предсказала токены, чтобы объяснить схему ABAB, но не поняла собственный ответ, чтобы воспроизвести эту схему на практике.

 Источник изображения: Steve Johnson / unsplash.com

Источник изображения: Steve Johnson / unsplash.com

Коварный характер «потёмкиных» состоит в том, что они обесценивают контрольные показатели ИИ. Модели тестируются с целью установить их компетентность, но если тест показывает лишь её производительность, но не способность применять материалы вне предлагаемых на испытаниях сценариев, его результаты не имеют значения. Исследователи разработали собственные бенчмарки, чтобы оценить, насколько распространены «потёмкины», и они оказались повсеместными в изучаемых моделях: Llama-3.3 (70B), GPT-4o, Gemini-2.0 (Flash), Claude 3.5 (Sonnet), DeepSeek-V3, DeepSeek-R1м и Qwen2-VL (72B).

В одной из серии испытаний речь шла о литературных приёмах, теории игр и психологических предубеждениях. Она показала, что испытуемые модели верно определяют необходимые понятия (94,2 %), но часто терпят неудачу в попытке классифицировать эти понятия (в среднем 55 % отказов), генерировать примеры (40 % неудач) и редактировать иллюстрации описанных понятий (40 %). Как и в случае со схемами рифмовки, они верно объясняли литературные приёмы, которые использовались к шекспировском сонете, но испытывали сложности с их обнаружением, воспроизведением или редактированием сонета.

«Существование „потёмкиных“ означает, что поведение, которое означало бы понимание у человека, не означает понимания у большой языковой модели. Это значит, что нам нужны либо новые способы проверки больших языковых моделей, чтобы они отвечали на те же вопросы, что используются для проверки людей, либо найти способы исключить это поведение у большой языковой модели», — отметили учёные.


window-new
Soft
Hard
Тренды 🔥
Microsoft научила Windows окирпичивать украденные ноутбуки — файлы при этом не пострадают 6 ч.
Более 80 % серверов Exchange вышли из строя: Microsoft рассказала, как сама усугубила глобальный сбой Outlook 6 ч.
Microsoft представила семь ИИ-моделей: одни пишут и исправляют код, другие ищут уязвимости, редактируют изображения и общаются голосом 6 ч.
Apple тестирует лимиты для Siri AI — за дополнительные сложные запросы придётся платить 7 ч.
Объявлены номинанты The Game Awards 2026 — GTA VI впереди всех, но конкуренты недалеко 7 ч.
У Apple произошёл глобальный сбой — пользователи не могут попасть в iCloud, Apple Music и App Store 8 ч.
Японский суперкомпьютер Fugaku взломали через страницу мониторинга 9 ч.
Разработчики космического боевика Exodus в духе Mass Effect впервые показали женскую версию главного героя, и игроки в восторге 10 ч.
Meta запустила Direct — мессенджер Instagram без самого Instagram 10 ч.
Microsoft не обманула: независимые тесты подтвердили ускорение Windows 11 на системах с 8 Гбайт памяти 12 ч.
Новая статья: Обзор игрового ноутбука GIGABYTE EAGLE 9MJ: новый средний класс 6 ч.
Samsung готовит телевизор, который следит за зрителями — чтобы ставить кино на паузу, когда те отлучаются 8 ч.
Хакеры взломали мощнейший суперкомпьютер Японии Fugaku — под угрозой оказались данные тысяч учёных 8 ч.
LANL испытает ускорители Maverick-2 — это уже вторая система NextSilicon для Министерства энергетики США 8 ч.
Вентилятор, на котором можно играть в игры: Thermaltake представила Swafan Ultra 120 EX RGB с IPS-экраном 9 ч.
Учёные придумали «солнечный LEGO» — разноцветные строительные блоки, способные вырабатывать электричество 9 ч.
AWS продаст Blackstone два кампуса ЦОД и тут же арендует их 9 ч.
Ровер NASA Perseverance обнаружил на Марсе «призрачные» камни — на Земле такие прячут следы древней микробной жизни 10 ч.
Apple начала продавать запчасти и инструменты для самостоятельного ремонта iPhone Duo 11 ч.
После скандала Nvidia взяла экспорт чипов под особый контроль — в компании создали комитет по нацбезопасности 13 ч.