Сегодня 20 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Все современные ИИ провалили новый сложный тест на общий интеллект — люди с ним тоже справились не идеально

Новый тест для оценки общей интеллектуальной способности моделей искусственного интеллекта, получивший название ARC-AGI-2, поставил в тупик большинство ИИ-моделей. Согласно рейтингу, рассуждающие модели, такие как o1-pro от OpenAI и R1 от DeepSeek, набрали от 1 % до 1,3 %. Модели без логического мышления, включая GPT-4.5, Claude 3.7 Sonnet и Gemini 2.0 Flash, набрали менее 1 %.

 Источник изображения: Pixabay

Источник изображения: Pixabay

Фонд Arc Prize Foundation, некоммерческая организация, соучредителем которой является известный исследователь в области искусственного интеллекта Франсуа Шолле (François Chollet), объявил в своём блоге о создании нового, более продвинутого теста для измерения общего интеллекта ведущих моделей искусственного интеллекта.

Тест ARC-AGI-2 представляет собой серию головоломок, в которых ИИ должен распознать визуальные закономерности, анализируя разноцветные квадраты, и на основе этого построить правильное продолжение узора. Испытание специально разработано так, чтобы модели не могли полагаться на прошлый опыт и вынуждены были адаптироваться к новым задачам.

Также Arc Prize Foundation провела тестирование с участием более 400 человек. В среднем группы испытуемых верно ответили на 60 % заданий. Это значительно превосходит показатели всех протестированных ИИ и одновременно подчёркивает разрыв между текущими возможностями ИИ и интеллектом людей в решении задач, требующих адаптации и понимания новых концепций.

Шолле заявил, что ARC-AGI-2 является более точным показателем реального интеллекта ИИ-моделей, чем предыдущая версия теста ARC-AGI-1. Кроме того, ARC-AGI-2 исключает возможность решения задач «методом грубой силы», то есть путём использования огромной вычислительной мощности для перебора всех возможных вариантов, что происходило в тесте ARC-AGI-1 и было признано серьёзным недостатком.

Для устранения погрешностей первого теста в ARC-AGI-2 была введена метрика эффективности, которая заставляла ИИ интерпретировать паттерны «на лету», а не полагаться на запоминание. Сооснователь Arc Prize Foundation Грег Камрадт (Greg Kamradt) отметил, что «интеллект определяется не только способностью решать задачи или достигать высоких результатов, но и эффективностью, с которой приобретаются и развёртываются эти возможности».

ARC-AGI-1 оставался ведущей метрикой в течение примерно пяти лет, пока в декабре 2024 года OpenAI не выпустила свою продвинутую модель рассуждений o3. Эта модель превзошла все другие ИИ-модели и даже сравнялась с производительностью человека в тестах ARC-AGI-1. Однако, как было отмечено, эти достижения были достигнуты за счёт значительных вычислительных затрат.

Разработка нового теста совпала с ростом обеспокоенности в индустрии по поводу недостатка объективных критериев для оценки искусственного интеллекта. В связи с этим Arc Prize Foundation объявила о запуске конкурса Arc Prize 2025, в котором разработчикам предлагается достичь 85 % точности на ARC-AGI-2, затратив при этом вычислительных затрат не более, чем $0,42 на задачу.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Развязка приключений Геральта задерживается: Netflix подтвердила перенос пятого сезона сериала «Ведьмак» 2 ч.
В экране блокировки Windows 11 обнаружена дыра, открывающая путь ко всем данным на ПК 3 ч.
Хакеры похитили данные более 1 млн банковских карт в 20 странах включая Россию 3 ч.
Инсайдер раскрыл, когда и где покажут многострадальный ремейк Star Wars: Knights of the Old Republic 4 ч.
«Ждал эту игру почти всю свою жизнь»: Creative Assembly заинтриговала фанатов целым часом нового геймплея Total War: Warhammer 40,000 5 ч.
Apple запустила разработку собственного ИИ-агента, который поселится в компьютерах Mac 6 ч.
Apple потеряла главного разработчика софта для камеры iPhone 6 ч.
Хакер Cyberleek «слил» в открытый доступ почти рабочую сборку GTA VI для Xbox, и это только начало 7 ч.
Google внедрила чаты с ИИ прямо на главную страницу поисковика 16 ч.
Ubisoft похвасталась вкладом Assassin’s Creed Black Flag Resynced в успехи компании и уволила ещё 166 человек 17 ч.
Акции AMD падают на фоне сообщений о связях компании с Китаем, способных привлечь внимание американских регуляторов 10 мин.
Huawei представила широкоэкранный, но не складывающийся смартфон OSTA O1 Pro 12 мин.
FADU представила первый в мире «файлово-семантический SSD» 23 мин.
SK hynix станет крупнейшим акционером собственного конкурента Kioxia — рынок NAND ждут перемены 52 мин.
Anthropic вошла в «клуб триллионеров» по итогам IPO, но простым инвесторам достались крохи 53 мин.
Акционеры подали иск против Supermicro, считая, что бывшая директор по развитию бизнеса знала о контрабанде чипов NVIDIA в КНР 2 ч.
Huawei представила первый «экспортный» ИИ-кластер на базе ускорителей Ascend 950DT 2 ч.
DapuStor выпустила SSD серии R6 с СЖО: до 7,68 Тбайт в формате E1.S 2 ч.
Hammerspace представила All-Flash платформу хранения Data System на базе DPU Xsight Labs E1 2 ч.
Марс наносит ответный удар: ровер Perseverance потерял связь, а станция Mars Odyssey — управление ориентацией 3 ч.