Сегодня 30 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → компьютерная игра

GPT-4 освоил Red Dead Redemption 2, но его подводит машинное зрение

Группа исследователей из Китая и Сингапура научила ИИ на базе OpenAI GPT-4V играть в Red Dead Redemption 2 (RDR2). В своей статье они рассказали о концепции общего компьютерного контроля (General Computer Control, GCC) для ИИ, и о мультимодальном агенте CRADLE — интерфейсе между GPT-4V и RDR2. По их мнению, основные проблемы у игрового ИИ-агента возникли при использовании машинного зрения.

 Источник изображения: Rockstar

Источник изображения: Rockstar

Исследователи поставили своей целью заставить ИИ, работающий на базе OpenAI GPT-4V, взаимодействовать с компьютером, воспринимая визуальные и звуковые сигналы, как это делает среднестатистический человек-пользователь ПК. Проект даёт представление о том, насколько далеко продвинулись разработчики ИИ в движении в сторону создания общего (сильного) искусственного интеллекта (AGI).

Исследователи выбрали RDR2, так как она имеет «сложную систему управления черным ящиком, которая воплощает в себе самые требовательные компьютерные задачи и позволяет нам оценить границы производительности нашей платформы в таких виртуальных средах». Кроме того, такие элементы пользовательского интерфейса, как диалоги, уникальные значки, внутриигровые подсказки и инструкции, гарантируют, что никакие базовые знания не воспринимаются как нечто само собой разумеющееся, что отлично подходит для обучения ИИ. Исследователи утверждают, что управление игрой с помощью мыши и клавиатуры обеспечивает лучшую тренировку для GCC.

 Как устроен CRADLE / Источник изображения: arxiv.org

Как устроен CRADLE / Источник изображения: arxiv.org

Исследователи стремились продемонстрировать способность ИИ изучать игру с нуля (без доступа к какому-либо внутреннему состоянию игры или API), то есть как это делает человек. ИИ-агент «проходил» игру, перемещаясь по миру и выполняя задания, следуя основной сюжетной линии RDR2. В целом, CRADLE добился заметного успеха в RDR2. Он смог «последовательно выполнять все задачи основной сюжетной линии», за исключением миссии с ураганной перестрелкой, заданий, которые требуют исследования сложного внутреннего мира, и многоэтапных миссий с открытым финалом.

 Как CRADLE выполняет buhjdst задания / Источник изображения: arxiv.org

Как CRADLE выполняет игровые задания / Источник изображения: arxiv.org

Исследователи считают, что причиной некоторых повторяющихся трудностей, с которыми сталкивался CRADLE, является GPT4-V. По их мнению, «возможности пространственно-визуального распознавания GPT-4V недостаточны для точного детального контроля». GPT4-V не справился с концепциями, специфичными для предметной области, такими как уникальные значки в игре, с пониманием мини-карт, а также с общими препятствиями в игровой среде.

 Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Хотя опубликованная статья посвящена взаимодействию ИИ с RDR2, авторы утверждают, что предназначение системы CRADLE в рамках GCC гораздо шире: «для поддержки более широкого спектра игр, таких как игры-симуляторы и стратегии, а также различных программных приложений».


window-new
Soft
Hard
Тренды 🔥
Геймер собрал внутри Minecraft рабочий ChatGPT — на это ушло 439 млн блоков 5 ч.
В Steam стартовала грандиозная осенняя распродажа — скидку получили более 30 тысяч игр 7 ч.
Браузер Brave обновил фирменный ИИ-поиск: теперь он даёт развёрнутые ответы 8 ч.
Календарь релизов — 29 сентября – 5 октября: Ghost of Yotei, Train Sim World 6 и ремейк FF Tactics 9 ч.
Слухи: Embracer взялась за амбициозный боевик по «Властелину колец», который бросит вызов Hogwarts Legacy 10 ч.
В ChatGPT появился полный родительский контроль после трагической гибели подростка из США 10 ч.
Capcom оставит Monster Hunter Wilds, Rise и World на Windows 10 без поддержки, причём очень скоро 11 ч.
Electronic Arts уйдёт с биржи благодаря сделке на $55 миллиардов — компанию выкупят три инвестора, включая Суверенный фонд Саудовской Аравии 12 ч.
Обороты компьютерных клубов в России за пять лет выросли в десятки раз 14 ч.
Devolver анонсировала Minos — игру о строительстве непроходимых лабиринтов по мотивам древнегреческого мифа о Тесее и Минотавре 15 ч.
В трекерах Tile выявили изъян, который позволяет вести слежку за их владельцами 4 мин.
MSI показала GeForce RTX 5070 Ti Ventus 3X со скрытым разъёмом питания 7 мин.
Раздувшаяся батарея Galaxy Ring сдавила палец и довела владельца до госпитализации 13 мин.
Новая статья: Обзор материнской платы Maxsun MS-eSport B850M WiFi Ice: «ледяная» скромность 3 ч.
Новая статья: Обзор блока питания Zalman TeraMax II SE 1000W (ZM1000-TMX2SE) 5 ч.
SanDisk выпустила WD_Black SN7100X — сертифицированный SSD для приставок ROG Xbox Ally и Ally X, а также карты памяти microSD 7 ч.
Куо предрёк Xiaomi 17 провал — поставки урезаны, а спасти положение могут только скидки 10 ч.
Euclyd разрабатывает ИИ-ускоритель Craftwerk с фирменной памятью UBM: 1 Тбайт и 8 Пбайт/с 11 ч.
Британский оператор BT в панике потребовал убрать все литиевые аккумуляторы из телефонных станций из-за риска возгорания 12 ч.
Геймерский 27-дюймовый QD-OLED-монитор Gigabyte Aorus FO27Q5P с 2K и 500 Гц дебютировал в России 13 ч.