ИИ оказался никудышным в ставках на спорт — он проиграл всё на матчах английской Премьер-лиги

Модели искусственного интеллекта от Google, OpenAI, Anthropic и xAI потеряли виртуальные деньги, делая ставки на футбольные матчи в течение сезона английской Премьер-лиги в рамках эксперимента, который провёл стартап General Reasoning. Результаты опыта показывают, что даже передовые системы испытывают трудности при анализе событий реального мира в долгосрочной перспективе, пишет Financial Times.

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Источник изображения: Sven Kucinic / unsplash.com

Исследователи из стартапа General Reasoning опубликовали результаты проекта KellyBench — его итоги, считают они, подтверждают, что ИИ может успешно решать такие задачи как написание программного кода, но он неспособен ориентироваться во многих других аспектах реальной человеческой жизни. В рамках эксперимента компания протестировала восемь лучших систем ИИ в виртуальной реконструкции сезона Премьер-лиги 2023–2024 годов, предоставив им подробную статистику по каждой команде и предыдущим играм. ИИ было поручено сформировать модели, с помощью которых можно извлекать максимальную прибыль и управлять рисками.

Условные ИИ-агенты делали ставки на исходы матчей и количество забитых голов, чтобы проверить, способен ли ИИ адаптироваться к новым событиям и обновляющимся по мере развития сезона данным об игроках. Доступа к интернету у моделей ИИ в рамках эксперимента не было, и у каждой модели было по три попытки заработать. Лучше всех проявил себя Anthropic Claude Opus 4.6 со средним убытком 11 % и почти безубыточностью в одной из попыток. Чат-бот xAI Grok 4.20 сразу обанкротился и не смог завершить две оставшиеся попытки; Google Gemini 3.1 Pro получил прибыль в 34 % в первой попытке и обанкротился во второй. В итоге каждая из передовых моделей теряла деньги в течение сезона, и многие просто обанкротились, отметили исследователи — в этой задаче ИИ выступил явно хуже человека.

Результаты эксперимента, подчёркивают его авторы, указывают, что опасения общественности по поводу вытеснения человека ИИ пока беспочвенны, и в долгосрочной перспективе ИИ пока несостоятелен. Многие из бенчмарков, в которых оцениваются модели, описывают «очень статичные условия», имеющие не так много общего с хаосом и сложностью реального мира. И если ИИ преуспевает в написании программного кода, то во многих других видах человеческой деятельности он всё ещё бесполезен.