Сегодня 03 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

GPT-4 освоил Red Dead Redemption 2, но его подводит машинное зрение

Группа исследователей из Китая и Сингапура научила ИИ на базе OpenAI GPT-4V играть в Red Dead Redemption 2 (RDR2). В своей статье они рассказали о концепции общего компьютерного контроля (General Computer Control, GCC) для ИИ, и о мультимодальном агенте CRADLE — интерфейсе между GPT-4V и RDR2. По их мнению, основные проблемы у игрового ИИ-агента возникли при использовании машинного зрения.

 Источник изображения: Rockstar

Источник изображения: Rockstar

Исследователи поставили своей целью заставить ИИ, работающий на базе OpenAI GPT-4V, взаимодействовать с компьютером, воспринимая визуальные и звуковые сигналы, как это делает среднестатистический человек-пользователь ПК. Проект даёт представление о том, насколько далеко продвинулись разработчики ИИ в движении в сторону создания общего (сильного) искусственного интеллекта (AGI).

Исследователи выбрали RDR2, так как она имеет «сложную систему управления черным ящиком, которая воплощает в себе самые требовательные компьютерные задачи и позволяет нам оценить границы производительности нашей платформы в таких виртуальных средах». Кроме того, такие элементы пользовательского интерфейса, как диалоги, уникальные значки, внутриигровые подсказки и инструкции, гарантируют, что никакие базовые знания не воспринимаются как нечто само собой разумеющееся, что отлично подходит для обучения ИИ. Исследователи утверждают, что управление игрой с помощью мыши и клавиатуры обеспечивает лучшую тренировку для GCC.

 Как устроен CRADLE / Источник изображения: arxiv.org

Как устроен CRADLE / Источник изображения: arxiv.org

Исследователи стремились продемонстрировать способность ИИ изучать игру с нуля (без доступа к какому-либо внутреннему состоянию игры или API), то есть как это делает человек. ИИ-агент «проходил» игру, перемещаясь по миру и выполняя задания, следуя основной сюжетной линии RDR2. В целом, CRADLE добился заметного успеха в RDR2. Он смог «последовательно выполнять все задачи основной сюжетной линии», за исключением миссии с ураганной перестрелкой, заданий, которые требуют исследования сложного внутреннего мира, и многоэтапных миссий с открытым финалом.

 Как CRADLE выполняет buhjdst задания / Источник изображения: arxiv.org

Как CRADLE выполняет игровые задания / Источник изображения: arxiv.org

Исследователи считают, что причиной некоторых повторяющихся трудностей, с которыми сталкивался CRADLE, является GPT4-V. По их мнению, «возможности пространственно-визуального распознавания GPT-4V недостаточны для точного детального контроля». GPT4-V не справился с концепциями, специфичными для предметной области, такими как уникальные значки в игре, с пониманием мини-карт, а также с общими препятствиями в игровой среде.

 Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Хотя опубликованная статья посвящена взаимодействию ИИ с RDR2, авторы утверждают, что предназначение системы CRADLE в рамках GCC гораздо шире: «для поддержки более широкого спектра игр, таких как игры-симуляторы и стратегии, а также различных программных приложений».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Обзор системы резервного копирования и восстановления данных «Кибер Бэкап Малый Бизнес» 51 мин.
Годовая выручка «Группы Астра» взлетела на 80 %, а прибыль — на 66 % 2 ч.
Ubisoft была вынуждена добавить жёлтую краску в Assassin’s Creed Shadows, потому что тестировщики терялись в мире игры 2 ч.
Мощнейшая ИИ-модель OpenAI o3 тратит до $30 000 на решение одной задачи 2 ч.
GTA V вернётся в Game Pass, причём совсем скоро — впервые игра будет доступна в PC Game Pass 3 ч.
ZA/UM отреагировала на утечку «одиночной кооперативной игры» Locust City во вселенной Disco Elysium 3 ч.
Amazon включилась в борьбу за американский бизнес TikTok 3 ч.
«Яндекс» представил «Нейроэксперта» — ИИ, который соберёт базу знаний по ссылкам и файлам пользователя 5 ч.
«Хуже моего самого страшного кошмара»: утечка геймплея с тестирования новой The Sims ужаснула фанатов 5 ч.
Самые полные издания Borderlands 3 и Diablo III добавят в Game Pass, а лучшая игра 2024 года по версии 3DNews подписку скоро покинет 16 ч.
Xiaomi впервые продала 30 тыс. машин за месяц — все китайские производители электромобилей отчитались о росте продаж 42 мин.
Китайская BYD станет крупнейшим в мире производителем электромобилей, обогнав Tesla по поставкам в этом году 2 ч.
«Джеймс Уэбб» обнаружил в ранней Вселенной неожиданно много умирающих галактик 2 ч.
Российский филиал Apple впервые с 2022 года показал прибыль, несмотря на нулевую выручку 2 ч.
Ближневосточный след: Cerebras Systems развеяла сомнения регулятора CFIUS в благонадёжности перед выходом на IPO 3 ч.
Hyundai обновила водородомобиль Nexo: запас хода вырос до 700 км, а мощность — до 255 л.с. 3 ч.
Sony представила преемника «короля телевизоров» и обновила всю серию Bravia 3 ч.
Самый опасный в истории наблюдений астероид теперь угрожает Луне, а не Земле 4 ч.
Apple, Nvidia и Amazon под ударом: трамповские пошлины полностью перекроят технологическую отрасль 4 ч.
Российская WildTeam выступила генеральным проектировщиком ЦОД общей ёмкостью 350 МВт 4 ч.