Nvidia представила платформу Cosmos и другие мощные инструменты для разработки человекоподобных роботов

На CES 2025 глава компании Nvidia Дженсен Хуанг (Jensen Huang) представил обновлённый и дополненный набор инструментов для ускорения разработки человекоподобных роботов. Выпущенный ещё весной пакет Isaac GR00T по созданию синтетических наборов движений теперь поддержан платформой Cosmos — цифровым представлением окружающего мира, созданным из колоссального объёма разнообразных данных. Это позволит приблизить день, когда роботы войдут в общество людей.

Источник изображений: Nvidia

Ожидается, что в течение следующих двух десятилетий рынок человекоподобных роботов достигнет $38 млрд. Чтобы удовлетворить столь значительный спрос, особенно в промышленном секторе, Nvidia представила не только обширный набор инструментов для программирования и проектирования, но и коллекцию базовых моделей роботов, конвейеров данных и фреймворков. Всё это призвано ускорить разработку человекоподобных роботов следующего поколения.

Изначально проект Isaac GR00T (Generalist Robot 00 Technology) был ориентирован на сферу имитационного обучения роботов широкому спектру движений. Оператор в гарнитуре виртуальной реальности, например Apple Vision Pro (процесс GR00T-Teleop), выполнял действия своими руками, а система разбивала их на фазы движения конечностей и создавала множество альтернативных вариантов движений. Это позволяло значительно ускорить обучение, исключая необходимость воспроизведения всех манипуляций человеком. Даже небольшая выборка действий оператора могла привести к созданию лавины синтетических последовательностей благодаря вычислительным ресурсам платформ Nvidia.

После сбора данных о действиях оператора процесс GR00T-Mimic тиражирует захваченные манипуляции в обширный синтетический набор движений. Платформы Nvidia Omniverse и Nvidia Cosmos экспоненциально расширяют этот набор за счёт рандомизации и масштабирования действий в трёхмерном пространстве. Эти данные затем используются для обучения роботов эффективному и безопасному перемещению и взаимодействию с окружающей средой в Nvidia Isaac Lab — модульной платформе с открытым исходным кодом для обучения роботов.

Одним из главных анонсов CES 2025 стала платформа Nvidia Cosmos, которая «сокращает разрыв между симуляцией и реальностью». Это предварительно обученные модели, отражающие основы физического мира и предназначенные для обучения искусственного интеллекта с учётом физических процессов. Модели были обучены на 18 квадриллионах токенов, включая данные из 2 млн часов автономного вождения, робототехники, видеозаписей с дронов и синтетических источников.

Платформа Cosmos не только помогает генерировать большие наборы данных, но и минимизирует разрыв между имитацией и реальностью, расширяя масштаб изображений от 3D до реального мира. Сочетание Cosmos с Omniverse — платформой для разработки API и микросервисов для создания 3D-приложений — играет решающую роль, поскольку сводит к минимуму возможные ошибки, связанные с моделями мира, и обеспечивает высокую точность благодаря физически корректному моделированию.

Nvidia уже нашла заинтересованных клиентов среди лидеров разработки человекоподобных роботов, таких как Boston Dynamics и Figure. Использование Nvidia Isaac GR00T, Omniverse и Cosmos значительно продвинет отрасль робототехники, приближая день, когда человекоподобные роботы станут неотъемлемой частью человеческой цивилизации.