Сегодня 09 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → rdr2

GPT-4 освоил Red Dead Redemption 2, но его подводит машинное зрение

Группа исследователей из Китая и Сингапура научила ИИ на базе OpenAI GPT-4V играть в Red Dead Redemption 2 (RDR2). В своей статье они рассказали о концепции общего компьютерного контроля (General Computer Control, GCC) для ИИ, и о мультимодальном агенте CRADLE — интерфейсе между GPT-4V и RDR2. По их мнению, основные проблемы у игрового ИИ-агента возникли при использовании машинного зрения.

 Источник изображения: Rockstar

Источник изображения: Rockstar

Исследователи поставили своей целью заставить ИИ, работающий на базе OpenAI GPT-4V, взаимодействовать с компьютером, воспринимая визуальные и звуковые сигналы, как это делает среднестатистический человек-пользователь ПК. Проект даёт представление о том, насколько далеко продвинулись разработчики ИИ в движении в сторону создания общего (сильного) искусственного интеллекта (AGI).

Исследователи выбрали RDR2, так как она имеет «сложную систему управления черным ящиком, которая воплощает в себе самые требовательные компьютерные задачи и позволяет нам оценить границы производительности нашей платформы в таких виртуальных средах». Кроме того, такие элементы пользовательского интерфейса, как диалоги, уникальные значки, внутриигровые подсказки и инструкции, гарантируют, что никакие базовые знания не воспринимаются как нечто само собой разумеющееся, что отлично подходит для обучения ИИ. Исследователи утверждают, что управление игрой с помощью мыши и клавиатуры обеспечивает лучшую тренировку для GCC.

 Как устроен CRADLE / Источник изображения: arxiv.org

Как устроен CRADLE / Источник изображения: arxiv.org

Исследователи стремились продемонстрировать способность ИИ изучать игру с нуля (без доступа к какому-либо внутреннему состоянию игры или API), то есть как это делает человек. ИИ-агент «проходил» игру, перемещаясь по миру и выполняя задания, следуя основной сюжетной линии RDR2. В целом, CRADLE добился заметного успеха в RDR2. Он смог «последовательно выполнять все задачи основной сюжетной линии», за исключением миссии с ураганной перестрелкой, заданий, которые требуют исследования сложного внутреннего мира, и многоэтапных миссий с открытым финалом.

 Как CRADLE выполняет buhjdst задания / Источник изображения: arxiv.org

Как CRADLE выполняет игровые задания / Источник изображения: arxiv.org

Исследователи считают, что причиной некоторых повторяющихся трудностей, с которыми сталкивался CRADLE, является GPT4-V. По их мнению, «возможности пространственно-визуального распознавания GPT-4V недостаточны для точного детального контроля». GPT4-V не справился с концепциями, специфичными для предметной области, такими как уникальные значки в игре, с пониманием мини-карт, а также с общими препятствиями в игровой среде.

 Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Хотя опубликованная статья посвящена взаимодействию ИИ с RDR2, авторы утверждают, что предназначение системы CRADLE в рамках GCC гораздо шире: «для поддержки более широкого спектра игр, таких как игры-симуляторы и стратегии, а также различных программных приложений».


window-new
Soft
Hard
Тренды 🔥
Продажи Ready or Not достигли 13 миллионов — на ПК игру продолжили покупать даже в разгар скандала с цензурой 12 ч.
Календарь релизов — 8–14 сентября: Borderlands 4, Shape of Dreams и Katanaut 12 ч.
Security Vision представила решение для защиты критической инфраструктуры малого и среднего бизнеса 13 ч.
Журналисты откопали концепт-арт версии ремейка Star Wars: Knights of the Old Republic, которая никогда не выйдет 13 ч.
Google добавила в Gemini поддержку аудиофайлов для всех платформ, включая iOS 14 ч.
Польские СМИ раскрыли стартовые продажи хоррора Cronos: The New Dawn от разработчиков ремейка Silent Hill 2 14 ч.
Звезда Cyberpunk 2077 Киану Ривз «с удовольствием бы» сыграл Джонни Сильверхенда в Cyberpunk 2 16 ч.
Microsoft предоставила скидки госагентствам США на более чем $6 млрд 17 ч.
Hollow Knight: Silksong оказалась слишком сложной даже для фанатов первой части, и моддеры спешат на помощь 17 ч.
«Т-Банк» тоже вернул бесконтактную оплату на iPhone россиян, но пока в тестовом режиме 19 ч.
«Непоправимый ущерб»: Nintendo отсудила $2 млн за продажу взломанных Switch 5 мин.
Дональд Трамп пообещал IT-гигантам решить проблемы с энергоснабжением ЦОД 35 мин.
В России поступил в продажу флагманский смартфон Huawei Pura 80 2 ч.
Американские регуляторы не будут признавать результаты сертификации ввозимой в США электроники от нескольких китайских лабораторий 2 ч.
Представлен электромобиль Polestar 5 — за 3,1 секунды до 100 км/ч и запас хода до 670 км по цене от $140 тысяч 3 ч.
Бывшая Yandex N.V. получит от Microsoft почти $20 млрд за пять лет 4 ч.
В Intel — масштабные кадровые перестановки: сменились руководители клиентского и серверного сегментов 6 ч.
Лунную ракету SLS не отменят — Трамп и Конгресс США нащупали способ удешевить проект 9 ч.
Новая статья: Обзор PCIe 5.0-накопителя Patriot Viper PV593: история про баланс 9 ч.
Новая статья: Обзор смартфона Google Pixel 10: середнячок, возомнивший себя флагманом 11 ч.