Сегодня 03 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → компьютерная игра

GPT-4 освоил Red Dead Redemption 2, но его подводит машинное зрение

Группа исследователей из Китая и Сингапура научила ИИ на базе OpenAI GPT-4V играть в Red Dead Redemption 2 (RDR2). В своей статье они рассказали о концепции общего компьютерного контроля (General Computer Control, GCC) для ИИ, и о мультимодальном агенте CRADLE — интерфейсе между GPT-4V и RDR2. По их мнению, основные проблемы у игрового ИИ-агента возникли при использовании машинного зрения.

 Источник изображения: Rockstar

Источник изображения: Rockstar

Исследователи поставили своей целью заставить ИИ, работающий на базе OpenAI GPT-4V, взаимодействовать с компьютером, воспринимая визуальные и звуковые сигналы, как это делает среднестатистический человек-пользователь ПК. Проект даёт представление о том, насколько далеко продвинулись разработчики ИИ в движении в сторону создания общего (сильного) искусственного интеллекта (AGI).

Исследователи выбрали RDR2, так как она имеет «сложную систему управления черным ящиком, которая воплощает в себе самые требовательные компьютерные задачи и позволяет нам оценить границы производительности нашей платформы в таких виртуальных средах». Кроме того, такие элементы пользовательского интерфейса, как диалоги, уникальные значки, внутриигровые подсказки и инструкции, гарантируют, что никакие базовые знания не воспринимаются как нечто само собой разумеющееся, что отлично подходит для обучения ИИ. Исследователи утверждают, что управление игрой с помощью мыши и клавиатуры обеспечивает лучшую тренировку для GCC.

 Как устроен CRADLE / Источник изображения: arxiv.org

Как устроен CRADLE / Источник изображения: arxiv.org

Исследователи стремились продемонстрировать способность ИИ изучать игру с нуля (без доступа к какому-либо внутреннему состоянию игры или API), то есть как это делает человек. ИИ-агент «проходил» игру, перемещаясь по миру и выполняя задания, следуя основной сюжетной линии RDR2. В целом, CRADLE добился заметного успеха в RDR2. Он смог «последовательно выполнять все задачи основной сюжетной линии», за исключением миссии с ураганной перестрелкой, заданий, которые требуют исследования сложного внутреннего мира, и многоэтапных миссий с открытым финалом.

 Как CRADLE выполняет buhjdst задания / Источник изображения: arxiv.org

Как CRADLE выполняет игровые задания / Источник изображения: arxiv.org

Исследователи считают, что причиной некоторых повторяющихся трудностей, с которыми сталкивался CRADLE, является GPT4-V. По их мнению, «возможности пространственно-визуального распознавания GPT-4V недостаточны для точного детального контроля». GPT4-V не справился с концепциями, специфичными для предметной области, такими как уникальные значки в игре, с пониманием мини-карт, а также с общими препятствиями в игровой среде.

 Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Хотя опубликованная статья посвящена взаимодействию ИИ с RDR2, авторы утверждают, что предназначение системы CRADLE в рамках GCC гораздо шире: «для поддержки более широкого спектра игр, таких как игры-симуляторы и стратегии, а также различных программных приложений».


window-new
Soft
Hard
Тренды 🔥
Представлена ранняя ПК-версия российской ОС «Аврора» — на ней уже запускается Telegram и не только 19 мин.
«РТК ИТ Плюс» пополнила ИТ-экосистему «Лукоморье» тремя новыми продуктами 56 мин.
Microsoft подтвердила дату выхода GTA V в PC Game Pass — подписчики получат доступ к GTA V Enhanced 60 мин.
Новый контент в Elden Ring: Tarnished Edition для Nintendo Switch 2 появится и на других платформах 2 ч.
Лавкрафтианский хоррор Stygian: Outer Gods готовится к старту открытой «беты» — новый геймплейный трейлер 3 ч.
Nintendo создала гибридный эмулятор Switch, но работать он будет только на Switch 2 4 ч.
Новая статья: Обзор системы резервного копирования и восстановления данных «Кибер Бэкап Малый Бизнес» 7 ч.
Годовая выручка «Группы Астра» взлетела на 80 %, а прибыль — на 66 % 7 ч.
Ubisoft была вынуждена добавить жёлтую краску в Assassin’s Creed Shadows, потому что тестировщики терялись в мире игры 7 ч.
Мощнейшая ИИ-модель OpenAI o3 тратит до $30 000 на решение одной задачи 8 ч.
Apple потеряла $250 млрд стоимости за день — пошлины Трампа обвалили акции техногигантов 41 мин.
Nintendo Switch 2 получила поддержку трассировки лучей и DLSS, но их появление в играх зависит от разработчиков 47 мин.
Nikon представила полнокадровую камеру Z5 II с улучшенным автофокусом и повышенной скоростью съёмки за $1700 2 ч.
«Акустическое совершенство»: Bang & Olufsen представила каменную колонку Beosound Balance Natura 2 ч.
У россиян вырос интерес к планшетам — продажи подскочили на 15 % в первом квартале 3 ч.
«Идеальный снимок. Скоро» — Nothing намекнула на скорый выход CMF Phone 2 3 ч.
Samsung выпустила 20-метровые телевизоры для кинотеатров Onyx 3 ч.
Intel переосмыслила свой главный слоган и обновила фирменный стиль, чтобы вернуть пользователей 4 ч.
Google готовится к аренде серверов на базе ускорителей NVIDIA у CoreWeave 4 ч.
Ayar Labs анонсировала чиплет оптического I/O TeraPHY с UCIe и пропускной способностью 8 Тбит/с 4 ч.