Рассуждающий ИИ показывает лишь «иллюзию мышления», решили исследователи Apple

Apple представила результаты исследования новейших больших рассуждающих моделей ИИ (LRM). Из отчёта следует, что, хотя LRM превосходят стандартные LLM (большие языковые модели) при выполнении запросов средней сложности, они не дают желаемых результатов при усложнении заданий. Исследователи считают, что нынешняя популярность LRM — это просто мода, а результаты их работы — лишь «иллюзия мышления», несовместимая с мыслительным процессом человека.

Источник изображения: unsplash.com

Исследователи уделили особое внимание моделям Claude 3.7 Sonnet Thinking от Anthropic, o3 от OpenAI, Gemini от Google и R1 LRM от DeepSeek, оценивая их возможности рассуждений в широком диапазоне тестов, выходящих за рамки стандартных задач по математике и написанию кода. Моделям также пришлось проектировать контролируемые среды головоломок, включая «Ханойскую башню».

Главной целью исследования было желание установить и оценить возможности рассуждений моделей, а не их способность достигать желаемого результата или ответа. Согласно выводам учёных, «хотя эти модели демонстрируют улучшенную производительность в тестах рассуждений, их фундаментальные возможности, свойства масштабирования и ограничения остаются недостаточно изученными».

Стандартные LLM и LRM показали схожие результаты при выполнении простых запросов. LRM демонстрировали некоторое преимущество при более сложных задачах благодаря их структурированным механизмам рассуждений («цепочкам мыслей»). Но ни LRM, ни LLM не справились с запросами максимальной сложности.

Несмотря на демонстрацию правильных алгоритмов, LRM испытывали трудности с обработкой сложных задач в традиционном пошаговом процессе рассуждений, демонстрируя недостатки и непоследовательность в логических вычислениях. Модели рассуждений требовали больше времени для обработки сложных запросов, однако неожиданно сокращали процесс рассуждений, что заканчивалось сбоем, несмотря на «наличие адекватного бюджета токенов».

Стоит отметить, что исследование Apple опубликовано на фоне катастрофического отставания компании от лидеров перегретого рынка искусственного интеллекта. По мнению аналитиков, это отставание составляет до двух лет. Если же пузырь искусственного интеллекта в ближайшее время всё же лопнет, Apple даже может оказаться в выигрыше.

Ещё в прошлом году многие эксперты высказывали опасения, что разработка продвинутых моделей ИИ застопорится из-за отсутствия высококачественного контента для дальнейшего обучения нейросетей. Однако генеральный директор OpenAI Сэм Альтман (Sam Altman) не увидел «никаких преград», а бывший генеральный директор Google Эрик Шмидт (Eric Schmidt) посчитал эти опасения беспочвенными.