Сегодня 23 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Google научила робота выполнять команды и ездить по офису с помощью нейросети Gemini

Команда Google DeepMind Robotics продемонстрировала на этой неделе, как обученный с помощью нейросети Google Gemini 1.5 Pro робот RT-2 может выполнять команды, озвученные на естественном языке, и перемещаться по офисному помещению.

 Источник изображений: Google DeepMind

Источник изображений: Google DeepMind

DeepMind Robotics опубликовала статью под названием «Mobility VLA: мультимодальная навигация по инструкциям с помощью VLM с длинным контекстом и топологическими графами», в которой в серии видеороликов робот выполняет различные задачи в офисном помещении площадью 9000 кв. футов (836 м2).

В одном из видеороликов сотрудник Google просит робота отвести его куда-нибудь, чтобы порисовать. «Хорошо, — отвечает тот, — дай мне минутку. Размышляем вместе с Gemini...». Затем робот подводит человека к лекционной доске размером со стену.

Во втором видео другой сотрудник предлагает роботу следовать указаниям на доске. Он рисует простую карту, на которой показано, как добраться до «Синей зоны». И снова робот на мгновение задумывается, прежде чем отправиться по указанному маршруту к месту, которое оказывается площадкой для испытаний робототехники. «Я успешно выполнил указания на доске», — докладывает робот.

Перед записью видеороликов роботов ознакомили с пространством с помощью решения «Мультимодальная навигация по инструкциям с демонстрационными турами (MINT)». Благодаря этому робот может перемещаться по офису в соответствии с указанными с помощью речи различными ориентирами. Затем DeepMind Robotics использовала иерархическую систему «Видение-Язык-Действие» (VLA), «которая сочетает в себе понимание окружающей среды и силу здравого смысла». После объединения процессов робот получил способность реагировать на написанные и нарисованные команды, а также на жесты и ориентироваться на местности.

Как утверждает Google, примерно в 90 % из 50 взаимодействий с сотрудниками роботы успешно выполняли данные им инструкции.

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Perplexity запустила ИИ-агента для электронной почты — он будет копаться в Outlook и Gmail за $200 в месяц 9 ч.
Комедийное приключение The Dungeon Experience от автора Paradigm заручилось поддержкой Devolver Digital и получило демоверсию в Steam 10 ч.
Американский TikTok избавят от китайских корней — Oracle с нуля переобучит рекомендательный алгоритм 12 ч.
Konami поинтересовалась, ремейки каких Metal Gear фанаты хотят увидеть после Metal Gear Solid Delta: Snake Eater 13 ч.
Обновление Windows 11 сломало приложения для Blu-ray и цифрового ТВ 14 ч.
Майкл Делл, Ларри Эллисон и Лахлан Мёрдок войдут в группу покупателей американского сегмента TikTok 14 ч.
Журналисты проанализировали, почему всё меньше и меньше игр Xbox выходит на дисках 14 ч.
Навязчивые cookie-баннеры могут исчезнуть — в ЕС поняли, что они неэффективны 14 ч.
Календарь релизов — 22–28 сентября: Silent Hill f, Endless Legend 2 и Sonic Racing: CrossWorlds 15 ч.
«Это настоящая магия»: энтузиасты сделали браузерный порт GTA: Vice City и не знают, как его выпустить, чтобы «не нарушить чьи-либо права» 17 ч.