Сегодня 13 июля 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Google научила робота выполнять команды и ездить по офису с помощью нейросети Gemini

Команда Google DeepMind Robotics продемонстрировала на этой неделе, как обученный с помощью нейросети Google Gemini 1.5 Pro робот RT-2 может выполнять команды, озвученные на естественном языке, и перемещаться по офисному помещению.

 Источник изображений: Google DeepMind

Источник изображений: Google DeepMind

DeepMind Robotics опубликовала статью под названием «Mobility VLA: мультимодальная навигация по инструкциям с помощью VLM с длинным контекстом и топологическими графами», в которой в серии видеороликов робот выполняет различные задачи в офисном помещении площадью 9000 кв. футов (836 м2).

В одном из видеороликов сотрудник Google просит робота отвести его куда-нибудь, чтобы порисовать. «Хорошо, — отвечает тот, — дай мне минутку. Размышляем вместе с Gemini...». Затем робот подводит человека к лекционной доске размером со стену.

Во втором видео другой сотрудник предлагает роботу следовать указаниям на доске. Он рисует простую карту, на которой показано, как добраться до «Синей зоны». И снова робот на мгновение задумывается, прежде чем отправиться по указанному маршруту к месту, которое оказывается площадкой для испытаний робототехники. «Я успешно выполнил указания на доске», — докладывает робот.

Перед записью видеороликов роботов ознакомили с пространством с помощью решения «Мультимодальная навигация по инструкциям с демонстрационными турами (MINT)». Благодаря этому робот может перемещаться по офису в соответствии с указанными с помощью речи различными ориентирами. Затем DeepMind Robotics использовала иерархическую систему «Видение-Язык-Действие» (VLA), «которая сочетает в себе понимание окружающей среды и силу здравого смысла». После объединения процессов робот получил способность реагировать на написанные и нарисованные команды, а также на жесты и ориентироваться на местности.

Как утверждает Google, примерно в 90 % из 50 взаимодействий с сотрудниками роботы успешно выполняли данные им инструкции.

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
ЕС утвердил Закон об ИИ: в числе запретов извлечение изображений лиц из интернета 41 мин.
Еврокомиссия замахнулась на X Илона Маска: соцсеть обвинили в обмане из-за синей галочки 4 ч.
Новая статья: Zenless Zone Zero — игра о вреде телевизоров. Рецензия 6 ч.
Как и 37 лет назад: первый трейлер Double Dragon Revive не разочаровал фанатов серии 6 ч.
В VK Play Cloud появились The Legend of Zelda: Tears of the Kingdom и Animal Crossing: New Horizons, но ненадолго 8 ч.
Соцсеть X снова тестирует функцию дизлайков, но на этот раз для комментариев 9 ч.
МОК объявил, когда и где пройдут первые в истории киберспортивные Олимпийские игры — League of Legends, Street Fighter и не только 9 ч.
Battlestate Games добавила в Escape From Tarkov: Arena классический режим из Counter-Strike 11 ч.
Хакеры похитили «почти всю» базу абонентов AT&T — одного из крупнейших сотовых операторов в США 11 ч.
Олдскульный боевик The Karate Kid: Street Rumble позволит пережить историю классической трилогии фильмов «Парень-каратист» 12 ч.
Разработчики игры Path of Titans призывают Intel отозвать все проданные процессоры Core 13-го и 14-го поколений 4 мин.
Слишком яркие спутники Starlink оказались проблемой для астрономов 38 мин.
Ryzen 9 9950X оказался на 20 % быстрее Ryzen 9 7950X в Blender при одинаковом энергопотреблении 4 ч.
Honor представила тонкий и лёгкий ноутбук MagicBook Art 14 2024 с OLED-экраном и Intel Meteor Lake 12 ч.
Запуск китайской частной ракеты Hyperbola-1 завершился провалом — уже четвёртый раз кряду 13 ч.
Honor представила планшет MagicPad 2 с OLED-экраном и Snapdragon 8s Gen 3, а также планшет Pad 9 Pro на Dimensity 8100 14 ч.
Oracle арендует у майнеров Crusoe Energy дата-центр, чтобы разместить там ускорители NVIDIA для OpenAI 15 ч.
Honor представила доступный складной смартфон Magic Vs3 с тонким корпусом — от $965 15 ч.
Honor представила Magic V3 — самый тонкий складной смартфон в мире 16 ч.
Нефтяная компания Gulf Oil выпустит жидкость для систем охлаждения дата-центров 16 ч.