Google DeepMind выпустила новую версию своей ИИ-модели мира — Genie 3, способную генерировать трёхмерные среды, с которыми можно взаимодействовать в реальном времени. Компания утверждает, что пользователи смогут исследовать сгенерированные миры гораздо дольше, чем раньше, а модель будет запоминать расположение предметов, остающихся за пределами кадра. Мировые модели также являются важным шагом на пути к «сильному ИИ», поскольку позволяют обучать ИИ без ограничений в богатой среде.

Пять причин полюбить HONOR Pad V9

Пять причин полюбить HONOR Magic7 Pro

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

Почему ИИ никак не сесть на безматричную диету

Пять причин полюбить HONOR X8c

Фитнес-браслет HUAWEI Band 10: настоящий металл

Источник изображений: Google

Модели мира или мировые модели — это тип систем искусственного интеллекта, которые могут моделировать трёхмерные среды для образовательных, развлекательных и научных целей, а также для обучения роботов или агентов ИИ. В сгенерированном пространстве на основе текстовой подсказки пользователь может перемещаться, как в видеоигре. В это направление ИИ Google вкладывает значительные ресурсы. В декабре компания представила Genie 2, способную создавать интерактивные миры на основе изображений, а сейчас формирует новую команду по созданию моделей миров под руководством бывшего ведущего разработчика генератора видео Sora от OpenAI.

У существующих моделей миров пока сохраняется множество недостатков. Например, в сгенерированном Genie 2 мире можно находиться не более одной минуты. По отзывам экспертов, подобные миры больше напоминали «прогулку по размытой версии Google Street View, где всё менялось и трансформировалось неожиданным образом, когда пользователь отводил взгляд».

Genie 3, по всей видимости, может стать заметным шагом вперёд. Разработчики утверждают, что пользователи смогут создавать миры, в которых поддерживается «несколько» минут непрерывного взаимодействия. Genie 3 может удерживать в памяти сгенерированные объекты около минуты, что позволит пользователю возвращаться к ним и обнаруживать их на прежнем месте.

В Genie 3 появились так называемые «подсказываемые мировые события», позволяющие в реальном времени менять погодные условия или добавлять новых персонажей. Google сообщает, что пока количество способов взаимодействия с генерируемыми мирами ограничено, а читаемый текст «часто появляется только при наличии его в исходном описании мира».

На текущем этапе создаваемые модели миров обеспечивают разрешение 720p при частоте 24 кадра в секунду. Genie 3 пока недоступна для широкой аудитории. По словам Google, она существует в виде «ограниченной исследовательской предварительной версии», доступной «небольшой группе учёных и разработчиков» для тщательной оценки возможных рисков и путей их минимизации. Компания заявила, что пока лишь «изучает», как в дальнейшем предоставить доступ к Genie 3 «дополнительным тестировщикам».

Команда Google DeepMind представила Genie 2 — вторую версию фундаментальной модели ИИ, способной на лету генерировать новые интерактивные цифровые окружения, или игровые миры.

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

Пять причин полюбить HONOR Pad V9

Пять причин полюбить HONOR Magic7 Pro

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Почему ИИ никак не сесть на безматричную диету

Пять причин полюбить HONOR X8c

Фитнес-браслет HUAWEI Band 10: настоящий металл

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Источник изображений: Google

Напомним, оригинальная Genie была выпущена в феврале и могла генерировать виртуальные 2D-миры из синтезированных изображений. Genie 2 способна делать это в 3D и на основе текстовых команд.

Пользователь может описать желаемый мир, выбрать подходящий рендеринг и ступить в новое окружение. На каждом шагу человек/агент совершает действие (движение мыши, нажатие клавиши на клавиатуре), а Genie 2 имитирует его последствия.

В основе каждого примера — изображение, сгенерированное ИИ-моделью Imagen 3 на основе текстовой подсказки

По словам Google DeepMind, Genie 2 может генерировать последовательные интерактивные миры продолжительностью около минуты, хотя большинство показанных (см. видео ниже) примеров длятся 10−20 секунд.

По сравнению с первой версией Genie 2:

• может запоминать элементы мира, которые не находятся в поле зрения;
• может создавать окружение с разными перспективами (от первого или третьего лица, изометрическая камера и так далее);
• может создавать комплексные трёхмерные сцены;
• может моделировать разнообразные взаимодействия с объектами вроде лопания воздушных шаров, открытия дверей или подрыва взрывоопасным бочек выстрелом;
• научилась анимировать персонажей разных типов;
• научилась моделировать NPC и взаимодействия с ними;
• научилась моделировать эффекты воды, дыма, гравитацию, освещение, отражения;
• научилась моделировать интерактивное окружение на основе реальных фотографий.

По мнению Google DeepMind, Genie 2 демонстрирует потенциал фундаментальных моделей мира для создания разнообразных трёхмерных окружений и ускорения тренировок/тестирования ИИ-агентов (вроде того же SIMA).

Google DeepMind уточняет, что исследование находится на ранней стадии и требует значительных улучшений в областях возможностей агентов и генерации среды, но уже видит в Genie 2 решение структурной проблемы безопасной тренировки ИИ-агентов.