Сегодня 04 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → компьютерная игра

GPT-4 освоил Red Dead Redemption 2, но его подводит машинное зрение

Группа исследователей из Китая и Сингапура научила ИИ на базе OpenAI GPT-4V играть в Red Dead Redemption 2 (RDR2). В своей статье они рассказали о концепции общего компьютерного контроля (General Computer Control, GCC) для ИИ, и о мультимодальном агенте CRADLE — интерфейсе между GPT-4V и RDR2. По их мнению, основные проблемы у игрового ИИ-агента возникли при использовании машинного зрения.

 Источник изображения: Rockstar

Источник изображения: Rockstar

Исследователи поставили своей целью заставить ИИ, работающий на базе OpenAI GPT-4V, взаимодействовать с компьютером, воспринимая визуальные и звуковые сигналы, как это делает среднестатистический человек-пользователь ПК. Проект даёт представление о том, насколько далеко продвинулись разработчики ИИ в движении в сторону создания общего (сильного) искусственного интеллекта (AGI).

Исследователи выбрали RDR2, так как она имеет «сложную систему управления черным ящиком, которая воплощает в себе самые требовательные компьютерные задачи и позволяет нам оценить границы производительности нашей платформы в таких виртуальных средах». Кроме того, такие элементы пользовательского интерфейса, как диалоги, уникальные значки, внутриигровые подсказки и инструкции, гарантируют, что никакие базовые знания не воспринимаются как нечто само собой разумеющееся, что отлично подходит для обучения ИИ. Исследователи утверждают, что управление игрой с помощью мыши и клавиатуры обеспечивает лучшую тренировку для GCC.

 Как устроен CRADLE / Источник изображения: arxiv.org

Как устроен CRADLE / Источник изображения: arxiv.org

Исследователи стремились продемонстрировать способность ИИ изучать игру с нуля (без доступа к какому-либо внутреннему состоянию игры или API), то есть как это делает человек. ИИ-агент «проходил» игру, перемещаясь по миру и выполняя задания, следуя основной сюжетной линии RDR2. В целом, CRADLE добился заметного успеха в RDR2. Он смог «последовательно выполнять все задачи основной сюжетной линии», за исключением миссии с ураганной перестрелкой, заданий, которые требуют исследования сложного внутреннего мира, и многоэтапных миссий с открытым финалом.

 Как CRADLE выполняет buhjdst задания / Источник изображения: arxiv.org

Как CRADLE выполняет игровые задания / Источник изображения: arxiv.org

Исследователи считают, что причиной некоторых повторяющихся трудностей, с которыми сталкивался CRADLE, является GPT4-V. По их мнению, «возможности пространственно-визуального распознавания GPT-4V недостаточны для точного детального контроля». GPT4-V не справился с концепциями, специфичными для предметной области, такими как уникальные значки в игре, с пониманием мини-карт, а также с общими препятствиями в игровой среде.

 Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Хотя опубликованная статья посвящена взаимодействию ИИ с RDR2, авторы утверждают, что предназначение системы CRADLE в рамках GCC гораздо шире: «для поддержки более широкого спектра игр, таких как игры-симуляторы и стратегии, а также различных программных приложений».


window-new
Soft
Hard
Тренды 🔥
Визг шин, рёв двигателей и атмосфера 90-х: гоночная игра #Drive Rally устремилась к выходу из раннего доступа 52 мин.
Inzoi установила новый рекорд скорости продаж для Krafton— игру раскупают быстрее, чем PUBG 2 ч.
«Буду плакать слезами счастья»: датамайнеры Apex Legends заявили, что Titanfall 3 жива и выйдет в 2026 году 3 ч.
ИИ впервые стал студентом вуза — Венский университет прикладного искусства зачислил систему Flynn 4 ч.
Бенчмарк MLPerf показал, что ускорители AMD Instinct не уступают NVIDIA H200 4 ч.
Россия заняла четвёртое место по размеру аудитории в Kingdom Come: Deliverance 2, хотя игра в стране даже не продаётся 5 ч.
Трамп заявил, что сделка с TikTok близка к заключению, и тарифы могут пригодиться в переговорах с Китаем 8 ч.
Amazon добавила ИИ-функцию кратких обзоров книг Kindle, но предупредила о спойлерах 10 ч.
Инвесторы потребовали от Ubisoft пересмотреть условия сделки с Tencent и готовы добиваться своего через суд 15 ч.
Microsoft запустила собственный ИИ-поисковик Copilot Search 16 ч.
Рост российского рынка IT встал на паузу — заказчики ждут возвращения зарубежных разработчиков 26 мин.
G.Skill представила самые быстрые в мире 64-Гбайт модули памяти для ПК 30 мин.
Учёные разработали техпроцесс для массового производства перовскитных солнечных панелей на Луне 36 мин.
Многие контрактные производители электроники не знают, где им строить фабрики после введения новых тарифов США 44 мин.
Parasail привлекла $10 млн стартового капитала и выступила «агрегатором ускорителей» с парком чипов больше, чем у Oracle 2 ч.
Богатейшие люди мира за день потеряли $208 млрд из-за новых пошлин США 3 ч.
Cyclotech начала тесты проворного летающего автомобиля с роторными «бочонками» вместо пропеллеров 3 ч.
NVIDIA может переключиться на выполнение заказов только из Китая в преддверии усиления санкций США 3 ч.
Zalman CNPS14X Duo Black — универсальный кулер для мощных процессоров 3 ч.
Вскоре SpaceX впервые запустит Starship на б/у ускорителе Super Heavy 4 ч.