Разработчики из Microsoft Research представили мультимодальную языковую ИИ-модель Magma, которая способна обрабатывать визуальные и текстовые данные для управления программными интерфейсами и роботизированными системами. Если алгоритм после тестирования выйдет за пределы Microsoft, то это может стать важным шагом на пути к созданию универсального мультимодального ИИ, способного работать как в цифровом, так и в реальном пространстве.

Демонстрация того, как Magma управляет роботизированной рукой / Источник изображения: Microsoft Research

Microsoft утверждает, что Magma является первой ИИ-моделью, которая способна не только обрабатывать мультимодальные данные (например, текст, изображения, видео), но и умеет выполнять действия на их основе, будь то навигация по пользовательскому интерфейсу или манипулирование физическими объектами. Разработка алгоритма Magma велась совместными усилиями разработчиков из Microsoft, KAIST, Университета Мэриленда, Висконсинского университета в Мэдисоне и Университета Вашингтона.

Ранее уже были реализованы проекты в сфере робототехники, основой которых становились большие языковые модели (LLM). К таким работам можно отнести проекты PALM-E и RT-2 от Google или ChatGPT for Robotics от Microsoft, где ИИ-системы были задействованы для управления программными интерфейсами.

Комбинированная схема, демонстрирующая возможности Magma / Источник изображения: Microsoft Research

В отличие от многих уже созданных мультимодальных алгоритмов, требующих использования отдельных моделей для восприятия и управления, в Magma эти способности объединены внутри единой базовой ИИ-модели. Microsoft позиционирует Magma, как существенный шаг на пути создания единого ИИ-агента, т.е. системы, способной автономно разрабатывать планы действий и выполнять многоэтапные задачи от имени человека, а не просто отвечать вопросы о том, что она видит.

«Учитывая описанную цель, Magma способна формулировать планы и выполнять действия для их достижения. Эффективно передавая знания, извлекаемые из свободно доступных визуальных и языковых данных, Magma объединяет вербальный, пространственный и временной алгоритмы для навигации по сложным задачам и обстановке», — говорится в сообщении исследователей из Microsoft.

Источник изображения: Microsoft Research

ИИ-модель Magma включает в себя два технических компонента: Set-of-Mark (идентифицирует объекты, которыми можно манипулировать в среде, присваивая цифровые метки интерактивным элементам, таким как нажимаемые кнопки в пользовательском интерфейсе или захватываемые объекты в рабочем пространстве роботов) и Trace-of-Mark (позволяет алгоритму выполнять такие задачи, как навигация по пользовательским интерфейсам или управление роботизированными руками для захвата и перемещения объектов).

Один из участников проекта рассказал, что название алгоритма Magma расшифровывается как M(ultimodal) Ag(entic) M(odel) at Microsoft (Rese)A(rch). В описании алгоритма Microsoft утверждает, что Magma-8B демонстрирует конкурентоспособные результаты в бенчмарках, показывая высокие результаты в задачах навигации по пользовательскому интерфейсу и манипулировании роботами.

Так в бенчмарке VQAv2 алгоритм Magma получил 80,0 баллов за визуальные ответы на вопросы, что выше результата GPT-4V (77,2 балла), но ниже показателя LLaVA-Next (81,8 балла). Показатель алгоритма POPE в 87,4 балла в настоящее время является абсолютно лучшим среди ИИ-моделей, участвовавших в сравнении. Отмечается, что в сфере манипулирования роботами Magma превосходит OpenVLA.

Источник изображения: Microsoft Research

По заявлениям разработчиков, Magma отличается от аналогов вроде GPT-4V тем, что выходит за рамки так называемого «вербального интеллекта» и включает в себя «пространственный интеллект», т.е. возможность планирования и выполнения действий. Обучаясь на смеси изображений, видео, робототехнических данных и взаимодействий с пользовательским интерфейсом, Magma, по сути, является полноценным мультимодальным ИИ-агентом, а не просто перцептивной моделью.

Как и все ИИ-модели, Magma не совершенна. Документация Microsoft указывает на то, что алгоритм по-прежнему сталкивается с техническими ограничениями при принятии сложных пошаговых решений, требующих многократного выполнения действий в течение определённого времени. Microsoft продолжает работать над улучшением алгоритма. Софтверный гигант намерен выложить исходный код Magma и другую документацию на GitHub, чтобы сторонние исследователи могли использовать эти наработки для реализации собственных проектов.

Meta✴ объявила сотрудникам в пятницу о создании новой команды, которая будет заниматься разработкой человекоподобных роботов, способных действовать как люди и помогать потребителям в выполнении различных задач. Ранее о планах компании развивать это направление и выделять в разработку значительные инвестиции сообщил Bloomberg.

Источник изображения: Gabriele Malaspina/unsplash.com

Возглавит новую команду Марк Уиттен (Marc Whitten), который в начале этого месяца покинул пост гендиректора подразделения беспилотных автомобилей Cruise компании General Motors, а до этого занимал руководящие должности в Unity Software и Amazon.com.

В Meta✴ считают, что хотя робототехнические компании достигли определённого прогресса в области аппаратной части для роботов-гуманоидов, достижения Meta✴ в сфере ИИ и обработки данных, собранных с устройств дополненной и виртуальной реальности, могут ускорить прогресс в зарождающейся отрасли. Как полагают в Meta✴, нынешние роботы-гуманоиды всё ещё недостаточно функциональны, чтобы выполнять простейшие домашние дела, например, сложить одежду, принести стакан воды, поставить посуду на полку для мытья — всё, что могло бы заинтересовать потребителей в этой категории.

Эндрю Босворт (Andrew Bosworth), главный технический директор Meta✴, отметил в служебной записке, что технологии, созданные Reality Labs и специалистами компании по ИИ, дополняют имеющиеся достижения, необходимые для робототехники. «Мы считаем, что расширение нашего портфеля для инвестиций в эту область только увеличит ценность Meta✴ AI и наших программ смешанной и дополненной реальности», — добавил он.

Уиттен будет подчиняться непосредственно Босворту. По словам источника, его команда будет включать порядка 100 специалистов. Как сообщил один из участников проекта, программное обеспечение, датчики и вычислительные пакеты, которые Meta✴ уже разрабатывает для своих устройств, также могут использоваться в роботах-гуманоидах. В этом году Meta✴ планирует потратить $65 млрд на сопутствующие продукты, включая инфраструктуру ИИ и новое робототехническое направление.

Цель Meta✴ — сделать то, что ОС Android от Google и чипы Qualcomm сделали для телефонной индустрии, заложив основу для развития остального рынка. По словам одного из источников, компания позиционирует свой проект как платформу для разработки роботов и рассчитывает сделать ИИ-модели Llama основой для создателей робототехники по всему миру. Meta✴ также займётся разработкой инструментов для обеспечения безопасности использования роботов.

В Meta✴ считают, что пройдёт ещё пара лет до того момента, как роботы-гуманоиды появятся в широком доступе, и могут пройти годы, прежде чем платформа компании обеспечит поддержку сторонних продуктов. Но это станет основным направлением для Meta✴ и технологической отрасли, утверждает источник Bloomberg.

На прошлой неделе компания Apple неожиданно поделилась исследовательской документацией и видеороликом, на котором демонстрировала созданную своими специалистами роботизированную настольную лампу. По мнению известного аналитика Мин-Чи Куо (Ming-Chi Kuo), серийное производство роботов Apple сможет начать не ранее 2028 года.

Источник изображения: Apple

К такому выводу эксперт приходит после появления видеоролика, демонстрирующего наличие у Apple прототипа будущего робототехнического изделия. По его словам, типовая продолжительность соответствующих стадий подготовки к выпуску нового продукта позволяет предположить, что первые роботы Apple в серийном исполнении появятся не ранее 2028 года. При этом необычно, что компания открыто делится информацией о прототипах уже сейчас. Скорее всего, она тем самым надеется привлечь необходимые для работы над роботами ценные кадры.

Как считает Куо, Apple экспериментирует как с человекоподобными, так и с роботами прочих формфакторов, которые смогут пригодиться в экосистеме умного дома в будущем. Как отмечалось ранее, в перспективе нескольких лет Apple надеется выпустить некий гибрид роботизированной умной колонки и планшета, который может поворачиваться автоматически в нужную сторону и следовать за пользователем самостоятельно.

Подразделение робототехники компании Apple создало прототип робота, напоминающего лампу из мультфильма «Люксо-младший», о чём сообщается на веб-сайте Apple Machine Learning Research. Разработчики продемонстрировали в видеоролике две версии робота: одна из них отличается выразительными реакциями на команды человека и выглядит гораздо интереснее второй, которая просто выполняет команды.

Источник изображения: Apple

Оба робота похожи на настольную лампу с шарнирной опорой, оснащённую камерой, динамиком и проектором. Они реагируют на жесты и голосовые команды, а также обладают голосом, похожим на Siri от Apple. При этом версия робота под названием Expressive (выразительный) демонстрирует большую индивидуальность.

Робот-лампа Expressive взаимодействует с человеком в реалистичной манере. Например, когда пользователь спрашивает о погоде, робот сначала смотрит в окно, прежде чем сообщить прогноз. Чтобы напомнить о необходимости выпить воды, он подталкивает кружку. Если человек говорит, что собирается в поход, но не сможет взять робота с собой, тот опускает «голову» в притворной грусти. Когда человек собирает 3D-принтер, робот проецирует соответствующее обучающее видео на стену. Он также реагирует на жесты руки, перемещаясь для обеспечения нужного освещения при фотосъёмке на iPhone. Кроме того, в видео демонстрируется, как робот включает музыку и танцует, поднимая настроение собеседнику.

Второй робот, получивший название Functional (функциональный), просто выполняет команды и остаётся неподвижным в их отсутствие.

Как отметили исследователи, такие реалистичные, управляемые выражением движения «значительно повышают вовлечённость пользователя» по сравнению с традиционными «управляемыми функциями» движениями.

В прошлом году журналист Bloomberg Марк Гурман (Mark Gurman) сообщил, что Apple разрабатывает настольного робота с «дисплеем, похожим на iPad», прикреплённым к «роботизированной конечности». Управлять устройством можно будет с помощью Siri и Apple Intelligence, а также различать голоса пользователей. По словам Гурмана, Apple планирует представить новинку в 2026 или 2027 году.

Электронные устройства устаревают с пугающей скоростью, и проблема их утилизации становится все более актуальной. К 2030 году мировое производство электронных отходов достигнет 82 миллионов тонн в год, а нынешнее состояние их переработки очень далеко от идеального. Для исправления ситуации немецкие исследователи из института Фраунгофера разработали автоматизированную систему интеллектуальной разборки электроники iDEAR на основе ИИ.

Источник изображений: techspot.com

Проблему электронных отходов трудно переоценить. Только Евросоюз произвёл около пяти миллионов тонн электронных отходов в 2022 году. США генерируют от 6,9 до 7,6 миллионов тонн электронных отходов ежегодно, что составляет около 21 кг на человека в год. По прогнозам, к 2030 году мировое производство электронных отходов увеличится до 74,7–82 миллионов тонн.

Нынешнее состояние переработки электронных отходов далеко от идеального. Производственные процессы в электронной промышленности ставят во главу угла экономическую эффективность, что приводит к выпуску устройств, которые плохо поддаются переработке в конце своего жизненного цикла. Традиционные методы часто подразумевают ручную разборку, которая является дорогостоящей и неэффективной. А многие устройства в конечном итоге просто измельчаются, что ограничивает возможность извлечения ценных компонентов.

Для решения проблемы переработки и утилизации электроники исследователи из института Фраунгофера в Магдебурге, Германия, разработали iDEAR (Intelligent Disassembly of Electronics for Remanufacturing and Recycling — интеллектуальная разборка электроники для восстановления и переработки). iDEAR кардинально повышает эффективность переработки электронных отходов и потенциально обеспечивает извлечение многих видов ценного сырья. На сегодняшний день iDEAR уже успешно справляется с извлечением материнских плат из корпусов ПК.

Процесс интеллектуальной разборки iDEAR начинается с этапа идентификации и диагностики. 3D-камеры и оптические сенсорные системы на базе ИИ сканируют электронные отходы, собирая ​​информацию о производителе, типе продукта и его серийном номере. Происходит обнаружение и сканирование этикеток и других надписей. Одновременно оценивается состояние компонентов и соединительных элементов, таких как винты и заклёпки. Алгоритмы машинного обучения в режиме реального времени идентифицируют и классифицируют состав устройства. iDEAR без проблем справляется с определением потайного и заржавевшего крепежа.

Ключевым нововведением в проекте iDEAR является создание цифрового «двойника разборки» для каждого продукта, включая информацию о его компонентах и ​​любой предыдущей операции с ним. После тщательного анализа устройства система определяет последовательности разборки с помощью специализированного ПО. Принимается решение, следует ли производить полную или частичную разборку, причём приоритет отдаётся извлечению ценных компонентов. Затем робот получает сгенерированную последовательность инструкций, включая откручивание винтов, вскрытие корпусов и извлечение компонентов.

Хотя в настоящее время проект iDEAR сосредоточен на переработке ПК, у исследователей амбициозные планы на будущее. Они работают над универсальной системой, которая сможет самостоятельно адаптироваться к широкому спектру электронных устройств — от микроволновых печей до крупных бытовых приборов — с минимальными инженерными усилиями.

Американская компания Figure по разработке роботов-гуманоидов подписала контракт на их поставку продукции с одной из крупнейших компаний США, а также заявила о намерении выпустить 100 000 таких роботов в течение следующих четырёх лет, сосредоточившись на двух ключевых направлениях — на коммерческом сегменте и на домашнем использовании.

Источник изображения: Figure

По словам генерального директора компании Бретта Эдкока (Brett Adcock), сотрудничество с крупнейшими клиентами позволит Figure производить роботов в больших объёмах, что снизит их себестоимость и ускорит сбор данных для обучения искусственного интеллекта (ИИ). Первым клиентом Figure, о котором было объявлено в декабре, является компания BMW, а имя второго пока держится в секрете, пишет Forbes.

Недавно компания Figure была признана одним из двух лидеров среди 16 ведущих компаний в разработке эффективных и доступных роботов-гуманоидов. Их первый робот Figure 01 был выпущен всего через 31 месяц после основания компании, следующая модель Figure 02 уже поставляется клиентам, а робот Figure 03, представляющий из себя ещё более впечатляющую разработку запущен и работает в лаборатории.

По словам Эдкока, ключевую роль в развитии роботов играет искусственный интеллект. «На прошлой неделе мы начали использовать нейронную сеть для потребностей нового клиента, — отметил он. — Обучение с помощью ИИ является единственным возможным путём, так как написание алгоритмов вручную здесь невозможно». Он также подчеркнул, что одной из главных целей является выполнение роботами задач с высокой скоростью и производительностью. Для сравнения, скорость Figure 01 составляет лишь 17 % от скорости движения человека, тогда как Figure 02 в семь раз быстрее первой модели. Что касается третьей модели, то она окажется ещё быстрее и функциональнее.

Отмечается, что компания в настоящее время не стремится к массовому расширению клиентской базы. Её стратегия заключается в углублении сотрудничества с конкретными крупными клиентами. «В коммерческом секторе наша стратегия заключается в том, чтобы оставаться сосредоточенными на небольшом количестве клиентов, — заявил Адкок. — На раннем этапе для нас более эффективно расти вертикально внутри нескольких клиентов, чем предлагать продукцию многим компаниям».

Хотя Адкок и не назвал второго клиента Figure (первым является BMW), по его словам, «это одна из крупнейших компаний США», из чего можно сделать вывод, что это вполне может быть Walmart, Amazon или Apple, а также крупные компании в сфере здравоохранения, такие как UnitedHealth Group и CVS Health.

Робототехническая промышленность Китая развивается стремительно, и если до сих пор считалось, что лучшее применение человекоподобным роботам может быть найдено в быту, представители основанной в 2012 году китайской компании UBTech утверждают, что до конца года начнут поставки таких роботов на предприятия клиентов в крупных количествах.

Источник изображения: UBTech Robotics

Для классических промышленных роботов принцип подобия человеку не был определяющим на протяжении десятков лет развития отрасли, но по мере совершенствования технологий применение «заменителей человека» на производстве обрело некоторый смысл. Помимо компании Tesla, поставки человекоподобных роботов для промышленного применения собираются в ближайшее время начать и многочисленные китайские конкуренты, многие из которых даже удостоились внимания компании Nvidia, продвигающей собственные аппаратные платформы в сфере робототехники.

UBTech, как отмечает South China Morning Post со ссылкой на руководство китайской компании, намеревается до конца года поставить от 500 до 1000 человекоподобных роботов серии Walker S на предприятия своих партнёров и клиентов. При этом до 60 % этого количества будет относиться к модели второго поколения, Walker S2, которая окажется одновременно и более грузоподъёмным, чем предшественница, и легче. Роботы такого типа уже проходят испытания на автосборочных предприятиях некоторых китайских производителей электромобилей, а ещё они найдут применение в логистике и на заводах тайваньской компании Foxconn, являющейся крупнейшим контрактным производителем электроники Apple.

Как отмечают в UBTech, приоритетные поставки человекоподобных роботов на промышленные предприятия обусловлены более прогнозируемой обстановкой на этих объектах. Замкнутая среда промышленных предприятий более однотипна и предсказуема, в ней проще научить робота выполнять свои функции, чем подстроить его под всё многообразие бытовых ситуаций. Впрочем, со временем UBTech надеется буквально предложить человекоподобных роботов для каждой семьи. Кроме того, человекоподобные роботы на предприятиях позволят решить проблему нехватки рабочих рук.

В текущем году компания собирается представить и третье поколение своих человекоподобных роботов, Walker S3. Чтобы научить роботов исполнять обязанности на предприятиях Foxconn, придётся обучать их заметно дольше, чем при работе в китайском автопроме, где им пока доверяют преимущественно передвигать грузы. Китайская робототехническая сфера характеризуется растущей конкуренцией и затяжной убыточностью, поскольку подобные разработки окупаются не так скоро. Например, в прошлом году UBTech хоть и сократила убытки до $70,5 млн, выйти в плюс не смогла. Получение прибыли для неё не является приоритетной целью на ближайшее время, важнее вкладывать средства в развитие искусственного интеллекта применительно к робототехнике.

В Пекине через несколько месяцев состоится уникальный полумарафон, в котором примут участие роботы-гуманоиды. В забеге на дистанцию 21 км одновременно с роботами на трассу выйдут около 12 тысяч человек.

Источник изображения: scmp.com

Как сообщает местный новостной портал South China Morning Post, это событие является частью масштабной программы Китая по развитию искусственного интеллекта и робототехники, а данная инициатива направлена на укрепление позиций страны в технологической гонке с США, а также на решение проблем старения общества и снижения рождаемости.

В забеге примут участие роботы из более чем 20 компаний. Организаторы пригласили также к участию исследовательские институты, робототехнические клубы и университеты со всего мира. Главное условие, которое необходимо выполнить, состоит в том, что роботы должны напоминать людей, обладать механической структурой для движения на двух ногах, а не использовать колёса. Их рост должен составлять от 0,5 до 2 метров, а размах от бедра до стопы должен быть не менее 0,45 метра. В забеге смогут участвовать как автономные, так и управляемые дистанционно модели. Замена батарей во время гонки разрешена.

Интересно, что прошлом году на другом полумарафоне в Пекине робот-гуманоид компании Galbot приветствовал участников на финише. Однако предстоящий марафон станет первым в истории полноценным забегом роботов, подчёркивая стремление Китая к развитию робототехники, особенно гуманоидной, как одного из ключевых секторов для достижения технологической независимости и экономического роста.

Китай также использует роботов для решения проблемы старения населения, предоставляя им роль компаньонов, помощников в наблюдении за здоровьем и в быту. По официальным данным, к концу 2024 года в Китае насчитывалось 310 миллионов человек в возрасте 60 лет и старше, что составляет 22 % от общего населения.

Кроме того, роботы рассматриваются как решение проблемы сокращения рабочей силы. Например, в 2023 году китайские компании внедрили в производство около 277 тысяч роботов, что составляет 51 % от общемирового количества роботов на производстве. Однако, несмотря на амбициозные планы, разработка полноценных роботов-гуманоидов остаётся сложной технической задачей, даже с учётом того, что правительство Китая предлагает субсидии для исследований и разработок в этой сфере.

Санкции США против Китая направлены на сдерживание технологического развития последней из стран, но представители китайского бизнеса считают, что даже в сложных условиях расширяющихся ограничений местным разработчикам удаётся в чём-то опережать американских соперников. Такого мнения придерживаются разработчики автопилота на транспорте и роботов.

Источник изображения: Baidu

Подобный вывод представителям South China Morning Post удалось сделать по итогам общения с руководством нескольких китайских компаний на мероприятии China Conference, которое проходило на этой неделе в Гуанчжоу. Здесь расположена штаб-квартира стартапа Pony.ai, который разрабатывает системы беспилотного управления автомобилями. Вице-президент компании Энн Ши Ю (Ann Shi Yu) заявила, что преимущество Китая в данной сфере заключается в наличии более гибких и дружественных по отношению к разработчикам правил, позволяющим быстрее создавать продвинутые системы автопилота. Китайские компании имеют возможность быстрее приступать к испытаниям новых технологий, и в случае необходимости вносить необходимые изменения.

При этом китайский рынок более конкурентен по сравнению с США. Как поясняет представительница Pony.ai, если в США только Waymo располагает действующим разрешением на эксплуатацию сотен полностью автономных такси на дорогах общего пользования, то в Китае этим же занимаются сразу несколько компаний. К концу прошлого года Pony.ai эксплуатировала около 250 роботизированных такси и 190 автоматических грузовиков на территории Китая. Конкурирующая Baidu (Apollo Go) в Ухане сейчас эксплуатирует более 400 роботизированных такси. Их активность даже стала причиной недовольства, выражаемого местными таксистами, которые не выдерживают конкуренции и теряют работу.

Глава бренда робототехнической компании UBTech Майкл Там (Michael Tam) признался, что американские конкуренты типа Tesla и OpenAI опережают китайские компании в сфере разработки программного обеспечения для роботов, но разрыв не так велик, чтобы у китайских разработчиков не было шансов его наверстать. По крайней мере, китайскому стартапу DeepSeek недавно удалось доказать, что даже при наличии ограниченных ресурсов можно обучить большую языковую модель, не уступающую разработкам мировых лидеров.

Кроме того, по словам представителя UBTech, Китай опережает прочие страны мира по возможностям в сфере производства роботов. Основатель Suzhou Intelligence Technology Кин Бин (King Bing) подчеркнул, что китайским компаниям уже удалось добиться лидерства на рынке так называемых сервисных роботов, которые доставляют еду в ресторанах или отелях, а также занимаются уборкой территорий и помещений.

Pony.ai и UBTech остаются убыточными компаниями. Первая завершила первую половину прошлого года с чистыми убытками в размере $51 млн, но рассчитывает увеличить парк своих робомобилей до нескольких тысяч штук в этом году. Это позволит на операционном уровне выйти на безубыточность с точки зрения затрат на эксплуатацию одного транспортного средства. UBTech аналогичный период завершила с чистыми убытками в размере $73,6 млн, но к идее перехода к безубыточности относится философски. По словам представителей компании, в сегменте робототехники с инвестиционной точки зрения необходимо обладать огромным терпением, поскольку выход на безубыточность может потребовать 10 лет интенсивной работы. Зато терпение инвесторов в этой сфере может быть вознаграждено в будущем весьма щедро, как считают в UBTech.

Стартап OpenAI в большей степени известен как создатель чат-бота ChatGPT и больших языковых моделей, но в прошлом году компания решила вернуться к идее создания роботов общего назначения, от которой пыталась отказаться ещё в 2020 году. Теперь руководитель робототехнического направления OpenAI объявила об открытии вакансий в профильном подразделении.

Источник изображения: Unsplash, Maximalfocus

Как отмечает TechCrunch, для данных заявлений Кейтлин Калиновски (Caitlin Kalinowski), которая с ноября прошлого года руководит в OpenAI направлением аппаратных решений, а до этого работала в Meta✴ Platforms над созданием очков дополненной реальности, использовала собственную страничку в социальной сети X. Она отметила, что OpenAI будет разрабатывать собственных роботов с уникальным набором датчиков, которые найдут универсальное применение в динамично меняющихся условиях современного мира. OpenAI также намеревается создать вычислительные компоненты для роботов, которые будут использоваться для работы с ИИ-моделями компании. Создаваемые роботы будут иметь различные формфакторы, как пояснила представительница OpenAI.

В настоящее время компании требуются сотрудники для тестирования прототипов роботов, а также разработчики с опытом создания роботизированных конечностей. Со временем компания рассчитывает наладить массовое производство роботов, измеряемое миллионными тиражами. Сама OpenAI при этом поддерживает стартапы X1 и Figure, специализирующиеся на человекоподобных роботах. Ранее также стало известно, что OpenAI не оставляет попыток создать собственный чип для ускорения работы разрабатываемых ИИ-моделей.

Компания Roborock добавила своему роботу-пылесосу, который дебютировал на выставке CES в прошлом году, роботизированную руку для уборки мелких предметов, разбросанных на полу. Новый Roborock Saros Z70 способен обнаружить и поднять такие вещи, как носки, салфетки и небольшие полотенца, весом до 300 грамм.

Источник изображения: Roborock, Theverge.com

Saros Z70 оснащён камерой и светодиодной подсветкой на руке-манипуляторе, что позволяет ему распознавать предметы и определять их вес. Благодаря датчикам он также может избежать столкновений с другими объектами. В процессе уборки, как объясняет The Verge, робот сначала сканирует помещение, запоминая предметы, которые он может поднять. Затем, начиная уборку, он перемещает эти предметы в чистую зону. Робот может быть даже запрограммирован на то, чтобы собрать эти вещи и отнести их в определённое место, например, в корзину для белья.

Помимо роботизированной руки, Saros Z70 также получил обновлённую систему навигации и распознавания препятствий StarSight Autonomous System 2.0, которая позволяет роботу обучаться распознаванию определённых объектов, например, любимой игрушки или сумки. В приложении пользователи смогут посмотреть, где робот в последний раз видел тот или иной предмет, что может быть полезно для поиска потерянных вещей. Система StarSight использует 3D-датчики, RGB-камеры и машинное обучение для навигации и идентификации до 108 различных объектов.

Источник изображения: Roborock, Theverge.com

Новинка также отличается высокой мощностью всасывания (22 000 Па), двойной системой защиты от спутывания, а также двойными вращающимися швабрами, которые могут подниматься на 2,2 см, чтобы не задевать ковры, и автоматически отсоединяться на базе, когда мойка не требуется. Saros Z70 имеет высоту менее 8 см, что позволяет ему проникать под низкую мебель, а также оснащён шасси AdaptLift для преодоления порогов и ковров. Робот-пылесос комплектуется новой многофункциональной станцией Multifunctional Dock 4.0 для зарядки, автоматической очистки, пополнения и слива воды, а также чистки своих щеток. Обновлённый робот будет представлен на выставке CES 2025 в ближайшие дни.

Стоит сказать, что помимо Saros Z70, компания Roborock также представит на CES ещё две свои флагманские модели — Saros 10R и Saros 10. Saros 10R, в отличие от Z70, имеет меньшую мощность всасывания (19 000 Па), но обладает той же технологией навигации и мойки. Saros 10 предлагает вибрационную швабру VibraRise и улучшенную систему Reactive AI 3.0 для предотвращения столкновений, а также использует навигацию на базе лидара.

Источник изображения: Roborock, Theverge.com

Все три модели поддерживают стандарт Matter 1.4 для интеграции с умным домом и совместимы с Alexa, Siri Shortcuts, Google Home. Устройство также имеет собственного голосового помощника Roborock Hey Rocky. Ожидается, что Saros Z70 поступит в продажу до июня 2025 года, а его цена будет объявлена позже. Saros 10R и Saros 10 поступят в продажу 10 февраля 2025 года по цене $1599 каждая.

На фоне замедления темпов развития ключевых направлений бизнеса, таких как производство полупроводников и мобильных устройств, компания Samsung Electronics решила усилить свои позиции, активизировав деятельность в сфере разработки роботов-гуманоидов.

Источник изображения: Rainbow Robotics

Как сообщает издание TrendForce, 31 декабря Samsung объявила, что приобрела контрольный пакет акций компании-разработчика роботизированных систем Rainbow Robotics, основанной в 2011 году учёными из Корейского института передовых технологий (KAIST). В 2023 году Samsung уже инвестировала 86,8 млрд южнокорейских вон (около $60 млн), чтобы стать владельцем 14,7 % акций этой компании. Однако теперь, воспользовавшись опционом, корпорация увеличила свою долю до 35 %, став крупнейшим акционером.

Samsung планирует объединить свои компетенции в области искусственного интеллекта и программного обеспечения с передовым опытом Rainbow Robotics, разработавшего Hubo — первого двуногого робота Южной Кореи. Целью разработки станет производство интеллектуальных гуманоидных роботов нового поколения, для чего будет создан проект в структуре Samsung под названием Future Robotics Initiative Team, который станет частью подразделения DX Division. Кроме того, Samsung намерена использовать другие разработки Rainbow Robotics для автоматизации своих производственных и логистических процессов, например, автономные мобильные системы и двухруких роботов.

Как подчёркивает TrendForce, выход Samsung на рынок гуманоидных роботов обострит конкуренцию в этой сфере. Главным соперником компании на внутреннем рынке станет Hyundai Motor, которая усилила свои позиции в робототехнике, приобретя в 2021 году Boston Dynamics, и кроме того, продолжая активно работать над созданием «универсальных человекоподобных роботов совместно с Toyota».

На международной арене конкуренция не менее напряженная. Tesla, лидер в области электромобилей, разрабатывает собственного робота-гуманоида Optimus и планирует начать его серийное производство в малых объёмах в 2025 году, а к 2026 году выйти на массовый выпуск для продажи другим компаниям.

Ещё одним крупным игроком в разработке гуманоидных роботов стала Nvidia. Компания планирует выпустить в первой половине 2025 года компактные компьютеры Jetson Thor, предназначенные специально для роботов-гуманоидов. Эти устройства основаны на программном обеспечении для обучения ИИ-роботов и мощных процессорах, обеспечивающих их работу. Примечательно, что расширение Nvidia в робототехнике происходит на фоне стремления Amazon, Microsoft и Google сократить зависимость от Nvidia, при этом тоже проявляя интерес к рынку гуманоидных роботов.

Что касается перспектив этого рынка, то по данным исследования TrendForce, мировой рынок роботизированных систем к 2027 году превысит $2 млрд. Массовое производство гуманоидных роботов начнётся уже в 2025 году, а среднегодовой темп роста составит 154 % в период с 2024 по 2027 годы.

Крупнейший производитель ускорителей для решения задач в сфере искусственного интеллекта в лице компании Nvidia будет сильнее склоняться к робототехнике в 2025 году. Ожидается, что уже в первой половине нынешнего года производитель выпустит на рынок новую вычислительную платформу для человекоподобных роботов под названием Jetson Thor.

Источник изображения: Tesla

Это ожидаемый шаг, являющийся частью многолетней стратегии Nvidia по развитию своего бизнеса. При этом компания не планирует напрямую конкурировать с производителями человекоподобных роботов, такими как Tesla. Вместо этого Nvidia хочет сформировать платформу для роботов, использовать которую смогут клиенты компании. Ранее в этом году вице-президент Nvidia по робототехнике и периферийным вычислениям Дипу Талла (Deepu Talla) заявлял, что рынок робототехники сильно фрагментирован и насчитывает «сотни тысяч» потенциальных клиентов, которые могут быть заинтересованы в использовании единой вычислительной платформы для роботов. Он также добавил, что компания сотрудничает с такими крупными производителями, как Tesla, Siemens и Universal Robots, причём два последних производителя уже активно внедряют решения на базе платформы Jetson.

Существенный сдвиг в сфере производства человекоподобных роботов Талла связывает с двумя факторами. Речь идёт о бурном развитии генеративных нейросетей и возможности обучения роботов с использованием моделируемой среды. Очевидно, Nvidia считает рынок робототехники одним из перспективных направлений для дальнейшего развития компании и наращивания прибыли. Продвижение компании в этом сегменте происходит в то время, когда крупные клиенты Nvidia, такие как Amazon и Google, стремятся снизить свою зависимость от графических ускорителей компании, пытаясь создать собственные аналоги, способные эффективно обрабатывать задачи искусственного интеллекта.

Китайский стартап Agibot, запущенный в феврале 2023 года и работающий в сфере робототехники, вызвал значительный ажиотаж в отрасли, заявив о начале массового производства человекоподобных роботов общего назначения. По данным китайских СМИ, к концу года компания поставит около 1000 роботов.

Источник изображения: Agibot

Стартап Agibot, известный на домашнем рынке под именем Zhiyuan Robotics, опубликовал на официальном сайте несколько кадров своего производственного предприятия, с помощью которого, как сообщается, к настоящему моменту было создано 962 человекоподобных робота. Вместе с этим Agibot опубликовала небольшое видео, в котором демонстрируются разные этапы производства роботов на заводе Lingang Fengxian в Шанхае.

На производственной линии компании, помимо прочего, задействованы собственные роботы-гуманоиды, которые помогают людям выполнять разные задачи, такие как размещение инструментов на полках и тестирование компонентов. Стартап также организовал так называемую «фабрику сбора данных» для обучения роботов выполнению разных задач, таких как складывание одежды, уборка и стирка белья.

Разработкой человекоподобных роботов занимаются разные компании по всему миру. В их число входит принадлежащая Илону Маску (Elon Musk) Tesla, основной бизнес которой связан с производством электромобилей. В июле миллиардер завил, что по-настоящему полезные роботы-гуманоиды начнут использоваться Tesla внутри компании в следующем году, а их массовое производство намечено на 2026 год.

Начало серийного производства роботов Agibot свидетельствует о том, что китайская компания опережает Tesla, но вряд ли отрыв существенен. По мнению аналитиков, это также указывает на впечатляющие темпы развития рынка робототехники, за счёт чего роботы-гуманоиды фактически превратились из лабораторных прототипов во вполне осязаемые продукты.

В сообщении сказано, что аппаратное обеспечение роботов достигло заметного уровня стандартизации, поэтому роботы-гуманоиды разных компаний в этом плане мало чем отличаются друг от друга. При этом американские компании, такие как Tesla и Nvidia, имеют определённые преимущества в таких областях, как точное манипулирование верхними конечностями и операционные возможности, а также в производстве высокопроизводительных чипов и ресурсах облачных вычислений. В это же время китайские компании больше преуспели в управлении движением и создании передовых ИИ-моделей, а также проработке разных сценариев применения роботов.

Недавняя демонстрация человекоподобного робота Tesla Optimus, который на видео ловил теннисные мячи своей обновлённой кистью руки, в первую очередь привлекала плавностью и естественностью движений конечности, но представители компании не стали скрывать, что роботом в очередной раз управлял человек. Зато они рассказали, что изменилось в устройстве новых рук робота.

Источник изображения: X, Tesla Optimus

Как поясняет Electrek, руководитель проекта Optimus Милан Ковач (Milan Kovac) рассказал об изменениях, которым подверглись руки робота, полученные им буквально в подарок на так называемую «чёрную пятницу». По словам представителя Tesla, новые манипуляторы ещё предстоит доработать к концу текущего года, преимущественно в части способности новых рук тактильно распознавать различные типы поверхности. В этом новые руки робота значительно превосходят предшествующий вариант, причём особой сложностью при их создании было сохранение адекватной чувствительности с учётом появления внешнего покрытия, напоминающего человеческие кожу и плоть. По словам Ковача, новая рука получила защитное покрытие на пальцах и ладони, которое достаточно мягкое и податливое на ощупь, но при этом позволяет тактильно распознавать различные поверхности с приемлемой точностью.

Кинематику пальцев удалось существенно улучшить за счёт появления некоего подобия человеческих сухожилий. Исполнительные устройства, которые приводят их в движение, при этом сосредоточены в предплечье. Это немного увеличило массу соответствующей части руки робота, но по сравнению с предшествующим вариантом оптимизация массы предплечья также была проведена. Как отмечалось ранее, кисть робота Optimus имеет 22 степени свободы, лишь незначительно уступая человеческой, ещё три степени свободы добавляют запястье и предплечье. Столь точное следование человеческой анатомии будет полезно не столько при производстве человекоподобных роботов, сколько при создании бионических протезов, которыми смогут пользоваться лишившиеся верхней конечности люди. Соответствующие планы глава Tesla Илон Маск (Elon Musk) упоминал публично.