Сегодня 04 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Учёные уличили ИИ в неспособности строить математические доказательства в олимпиадных задачах USAMO 2025 года

Новое исследование ETH Zurich и INSAIT показало, что современные ИИ-модели, имитирующие рассуждение и уверенно решающие стандартные математические задачи, практически не способны формулировать полные доказательства уровня Математической олимпиады США 2025 года (USAMO). Эти результаты ставят под сомнение возможность глубокого математического рассуждения у современных ИИ-моделей.

 Источник изображения: Imkara Visual / Unsplash

Источник изображения: Imkara Visual / Unsplash

В марте 2025 года исследовательская группа из Швейцарской высшей технической школы Цюриха (ETH Zurich) и Института компьютерных наук, искусственного интеллекта и технологий (INSAIT) при Софийском университете, возглавляемая Иво Петровым (Ivo Petrov) и Мартином Вечевым (Martin Vechev), опубликовала препринт научной статьи под названием «Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad» (рус. — Доказательство или блеф? Оценка больших языковых моделей на Математической олимпиаде США 2025 года). Работа направлена на оценку способности больших языковых моделей (LLMs), имитирующих рассуждение, генерировать полные математические доказательства на олимпиадных задачах.

Для анализа были использованы шесть задач с USAMO 2025 года, организованного Математической ассоциацией Америки. ИИ-модели тестировались сразу после публикации заданий для минимизации риска утечки данных в обучающие выборки. Средняя результативность по всем ИИ-моделям при генерации полных доказательств составила менее 5 % от максимально возможных баллов. Системы оценивались по шкале от 0 до 7 баллов за задачу с учётом частичных зачётов, выставляемых экспертами. Лишь одна модель — Gemini 2.5 Pro компании Google — показала заметно лучший результат, набрав 10,1 балла из 42 возможных, что эквивалентно примерно 24 %. Остальные модели существенно отставали: DeepSeek R1 и Grok 3 получили по 2,0 балла, Gemini Flash Thinking — 1,8 балла, Claude 3.7 Sonnet — 1,5 балла, Qwen QwQ и OpenAI o1-pro — по 1,2 балла. ИИ-модель o3-mini-high компании OpenAI набрала всего 0,9 балла. Из почти 200 сгенерированных решений ни одно не было оценено на максимальный балл.

Исследование подчёркивает фундаментальное различие между решением задач и построением математических доказательств. Стандартные задачи, такие как вычисление значения выражения или нахождение переменной, требуют лишь конечного правильного ответа. В отличие от них, доказательства требуют последовательной логической аргументации, объясняющей истинность утверждения для всех возможных случаев. Это качественное различие делает задачи уровня USAMO значительно более требовательными к глубине рассуждения.

 Скриншот задачи №1 USAMO 2025 года и её решения на сайте AoPSOnline. Источник изображения: AoPSOnline

Скриншот задачи №1 USAMO 2025 года и её решения на сайте AoPSOnline. Источник изображения: AoPSOnline

Авторы исследования выявили характерные модели ошибок в работе ИИ. Одной из них стала неспособность поддерживать корректные логические связи на протяжении всей цепочки вывода. На примере задачи №5 USAMO 2025 года ИИ-модели должны были найти все натуральные значения k, при которых определённая сумма биномиальных коэффициентов в степени k остаётся целым числом при любом положительном n. Модель Qwen QwQ допустила грубую ошибку, исключив возможные нецелые значения, разрешённые условиями задачи, что привело к неправильному окончательному выводу, несмотря на правильное определение условий на промежуточных этапах.

Характерной особенностью поведения моделей стало то, что даже в случае серьёзных логических ошибок они формулировали свои решения в утвердительной форме, без каких-либо признаков сомнения или указаний на возможные противоречия. Это свойство имитации рассуждения указывает на отсутствие у ИИ-моделей механизмов внутренней самопроверки и коррекции вывода.

Авторы отметили также влияние особенностей обучения на качество решений. Тестируемые ИИ-модели демонстрировали артефакты оптимизационных стратегий, применяемых при подготовке к стандартным бенчмаркам: например, принудительное форматирование ответов с использованием команды \boxed{}, предназначенное для удобства автоматизированной проверки. Эти шаблонные подходы приводили к ошибкам в контексте задач, где требовалось развёрнутое доказательство, а не только числовой ответ.

 Показатели точности ИИ-моделей на каждой задаче USAMO 2025 года. Источник изображения: MathArena

Показатели точности ИИ-моделей на каждой задаче USAMO 2025 года. Источник изображения: MathArena

Несмотря на выявленные ограничения, внедрение методов цепочки размышлений и имитации рассуждения положительно сказались на формировании промежуточных логических шагов в процессе вывода ИИ-моделей. Механизм масштабирования вычислений на этапе вывода позволяет ИИ строить более связные локальные рассуждения. Однако фундаментальная проблема остаётся: современные большие языковые модели (LLM) на архитектуре «Трансформер» (Transformer) продолжают работать как системы распознавания паттернов, а не как самостоятельные системы концептуального рассуждения.

Более высокие результаты модели Gemini 2.5 Pro свидетельствуют о потенциальной возможности сокращения разрыва между симулированным и реальным рассуждением в будущем. Однако для достижения качественного прогресса необходимо обучение ИИ-моделей более глубоким многомерным связям в латентном пространстве и освоение принципов построения новых логических структур, а не только копирование существующих шаблонов из обучающих выборок.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Конец эпохи: Intel закрыла приложение Unison для синхронизации ПК и смартфонов 2 ч.
Минюст США убедил Google и Apple не блокировать TikTok, пообещав их не штрафовать 2 ч.
Destiny: Rising не заставит себя долго ждать — дата выхода и новый геймплейный трейлер 6 ч.
Anthem уйдёт в вечный офлайн — Electronic Arts скоро отключит серверы провального шутера 7 ч.
«Базальт СПО» представила в Китае российский ПАК с китайскими чипами Loongson 8 ч.
Петиция «Прекратите убивать игры» набрала миллион подписей для рассмотрения в Евросоюзе, но борьба ещё не окончена 9 ч.
Аналитики раскрыли продажи Death Stranding 2: On the Beach — игра уже стала хитом на PlayStation 5 10 ч.
Windows 11 становится всё популярнее среди геймеров — на неё переходят не только с Windows 10 11 ч.
Новый шутер от соавтора Doom Джона Ромеро оказался под угрозой — из-за увольнений в Microsoft студия осталась без денег и сотрудников 11 ч.
«Нужно больше Адских Десантников»: популярный кооперативный шутер Helldivers 2 от Sony всё-таки выйдет на Xbox, причём уже скоро 13 ч.
CoreWeave стала первым облачным клиентом Nvidia, запустившим эксплуатацию ускорителей Blackwell Ultra 2 ч.
E Ink придумала встроить в тачпад ноутбука экран на электронных чернилах — для общения с ИИ и не только 5 ч.
Новая статья: ИИтоги июня 2025 г.: ой, да было бы что заменять! 6 ч.
Transcend выпустила свой самый быстрый SSD для ПК — MTE260S со скоростью до 14 000 Мбайт/с 8 ч.
«Большой прекрасный закон» Трампа сулит тёмные времена солнечной энергетике США 8 ч.
Nothing Phone (3) для Индии получил более ёмкую батарею, чем для США и Европы 8 ч.
Дело о растрате 6 млрд рублей при создании «планшета Чубайса» дошло до суда 9 ч.
Tesla подтвердила падение спроса на Cybertruck до 5000 единиц в квартал — на порядок ниже изначального плана 10 ч.
Nvidia сегодня может отобрать у Apple звание самой дорогой компании в истории 10 ч.
Pebble выпустила умное-кольцо Halo Smart Ring, которое умеет показывать время и стоит менее $100 11 ч.