Сегодня 04 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → компьютерная игра

GPT-4 освоил Red Dead Redemption 2, но его подводит машинное зрение

Группа исследователей из Китая и Сингапура научила ИИ на базе OpenAI GPT-4V играть в Red Dead Redemption 2 (RDR2). В своей статье они рассказали о концепции общего компьютерного контроля (General Computer Control, GCC) для ИИ, и о мультимодальном агенте CRADLE — интерфейсе между GPT-4V и RDR2. По их мнению, основные проблемы у игрового ИИ-агента возникли при использовании машинного зрения.

 Источник изображения: Rockstar

Источник изображения: Rockstar

Исследователи поставили своей целью заставить ИИ, работающий на базе OpenAI GPT-4V, взаимодействовать с компьютером, воспринимая визуальные и звуковые сигналы, как это делает среднестатистический человек-пользователь ПК. Проект даёт представление о том, насколько далеко продвинулись разработчики ИИ в движении в сторону создания общего (сильного) искусственного интеллекта (AGI).

Исследователи выбрали RDR2, так как она имеет «сложную систему управления черным ящиком, которая воплощает в себе самые требовательные компьютерные задачи и позволяет нам оценить границы производительности нашей платформы в таких виртуальных средах». Кроме того, такие элементы пользовательского интерфейса, как диалоги, уникальные значки, внутриигровые подсказки и инструкции, гарантируют, что никакие базовые знания не воспринимаются как нечто само собой разумеющееся, что отлично подходит для обучения ИИ. Исследователи утверждают, что управление игрой с помощью мыши и клавиатуры обеспечивает лучшую тренировку для GCC.

 Как устроен CRADLE / Источник изображения: arxiv.org

Как устроен CRADLE / Источник изображения: arxiv.org

Исследователи стремились продемонстрировать способность ИИ изучать игру с нуля (без доступа к какому-либо внутреннему состоянию игры или API), то есть как это делает человек. ИИ-агент «проходил» игру, перемещаясь по миру и выполняя задания, следуя основной сюжетной линии RDR2. В целом, CRADLE добился заметного успеха в RDR2. Он смог «последовательно выполнять все задачи основной сюжетной линии», за исключением миссии с ураганной перестрелкой, заданий, которые требуют исследования сложного внутреннего мира, и многоэтапных миссий с открытым финалом.

 Как CRADLE выполняет buhjdst задания / Источник изображения: arxiv.org

Как CRADLE выполняет игровые задания / Источник изображения: arxiv.org

Исследователи считают, что причиной некоторых повторяющихся трудностей, с которыми сталкивался CRADLE, является GPT4-V. По их мнению, «возможности пространственно-визуального распознавания GPT-4V недостаточны для точного детального контроля». GPT4-V не справился с концепциями, специфичными для предметной области, такими как уникальные значки в игре, с пониманием мини-карт, а также с общими препятствиями в игровой среде.

 Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Хотя опубликованная статья посвящена взаимодействию ИИ с RDR2, авторы утверждают, что предназначение системы CRADLE в рамках GCC гораздо шире: «для поддержки более широкого спектра игр, таких как игры-симуляторы и стратегии, а также различных программных приложений».


window-new
Soft
Hard
Тренды 🔥
«Яндекс» обновил «Нейроэксперта» — ИИ научился рассуждать и анализировать сайты целиком 2 мин.
Продажи Rust на ПК превысили 20 млн копий — игра заслужила больше миллиона положительных обзоров в Steam 2 ч.
Исследование: поиск информации в Google может подавлять креативность 2 ч.
Цукерберг снова обещает революцию — ИИ-амбиции Meta напомнили о провале метавселенной 2 ч.
«Ростелеком» нацелился создать конкурента Steam и VK Play, в том числе для российской игровой консоли 3 ч.
«Блокнот» спустя 43 года освоил жирный шрифт и курсив 3 ч.
Создатели The Elder Scrolls Online готовили смесь Destiny и «Бегущего по лезвию» — Фил Спенсер не мог оторваться от игры, но её всё равно отменили 4 ч.
Представлен российский сервер Java-приложений WildBoss Pro, способный заменить IBM WebSphere Application Server и Oracle GlassFish Server 5 ч.
Надёжный инсайдер: Techland отменила амбициозную фэнтезийную RPG, но занялась новой Call of Juarez 5 ч.
После ухода генерального директора Илья Суцкевер был вынужден возглавить основанный им стартап Safe Superintelligence 6 ч.
Foxconn и Kawasaki разработали робота-помощника для медсестёр — в больницах он появится в 2026 году 2 мин.
Китайцы разлюбили иностранные смартфоны — их продажи упали на 9,7 % в мае 57 мин.
Китайская Envision устроила пожар в системе хранения энергии, чтобы доказать её устойчивость к распространению огня 2 ч.
«Инферит» представил российские GPU-серверы с СЖО на платформах AMD и Intel 2 ч.
Петабит на пару: японская NICT поставила очередной рекорд скорости передачи данных по оптоволокну 2 ч.
YADRO представила обновление операционной системы для коммутаторов Kornfeld 3 ч.
Xiaomi рассказала, как электромобиль Xiaomi YU7 позаботится о женщинах, питомцах и пользователях iPhone 3 ч.
Apple собиралась создать конкурента AWS и Azure, но облачный проект ACDC завис в воздухе 3 ч.
Китайская многоразовая ракета выполнила «петлю Нестерова» — пока только в симуляции 3 ч.
Tesla построила «оазис» для электромобилей — полностью автономную зарядную станцию Oasis Supercharger 3 ч.