Санкции США против Китая направлены на сдерживание технологического развития последней из стран, но представители китайского бизнеса считают, что даже в сложных условиях расширяющихся ограничений местным разработчикам удаётся в чём-то опережать американских соперников. Такого мнения придерживаются разработчики автопилота на транспорте и роботов.

Источник изображения: Baidu

Подобный вывод представителям South China Morning Post удалось сделать по итогам общения с руководством нескольких китайских компаний на мероприятии China Conference, которое проходило на этой неделе в Гуанчжоу. Здесь расположена штаб-квартира стартапа Pony.ai, который разрабатывает системы беспилотного управления автомобилями. Вице-президент компании Энн Ши Ю (Ann Shi Yu) заявила, что преимущество Китая в данной сфере заключается в наличии более гибких и дружественных по отношению к разработчикам правил, позволяющим быстрее создавать продвинутые системы автопилота. Китайские компании имеют возможность быстрее приступать к испытаниям новых технологий, и в случае необходимости вносить необходимые изменения.

При этом китайский рынок более конкурентен по сравнению с США. Как поясняет представительница Pony.ai, если в США только Waymo располагает действующим разрешением на эксплуатацию сотен полностью автономных такси на дорогах общего пользования, то в Китае этим же занимаются сразу несколько компаний. К концу прошлого года Pony.ai эксплуатировала около 250 роботизированных такси и 190 автоматических грузовиков на территории Китая. Конкурирующая Baidu (Apollo Go) в Ухане сейчас эксплуатирует более 400 роботизированных такси. Их активность даже стала причиной недовольства, выражаемого местными таксистами, которые не выдерживают конкуренции и теряют работу.

Глава бренда робототехнической компании UBTech Майкл Там (Michael Tam) признался, что американские конкуренты типа Tesla и OpenAI опережают китайские компании в сфере разработки программного обеспечения для роботов, но разрыв не так велик, чтобы у китайских разработчиков не было шансов его наверстать. По крайней мере, китайскому стартапу DeepSeek недавно удалось доказать, что даже при наличии ограниченных ресурсов можно обучить большую языковую модель, не уступающую разработкам мировых лидеров.

Кроме того, по словам представителя UBTech, Китай опережает прочие страны мира по возможностям в сфере производства роботов. Основатель Suzhou Intelligence Technology Кин Бин (King Bing) подчеркнул, что китайским компаниям уже удалось добиться лидерства на рынке так называемых сервисных роботов, которые доставляют еду в ресторанах или отелях, а также занимаются уборкой территорий и помещений.

Pony.ai и UBTech остаются убыточными компаниями. Первая завершила первую половину прошлого года с чистыми убытками в размере $51 млн, но рассчитывает увеличить парк своих робомобилей до нескольких тысяч штук в этом году. Это позволит на операционном уровне выйти на безубыточность с точки зрения затрат на эксплуатацию одного транспортного средства. UBTech аналогичный период завершила с чистыми убытками в размере $73,6 млн, но к идее перехода к безубыточности относится философски. По словам представителей компании, в сегменте робототехники с инвестиционной точки зрения необходимо обладать огромным терпением, поскольку выход на безубыточность может потребовать 10 лет интенсивной работы. Зато терпение инвесторов в этой сфере может быть вознаграждено в будущем весьма щедро, как считают в UBTech.

Стартап OpenAI в большей степени известен как создатель чат-бота ChatGPT и больших языковых моделей, но в прошлом году компания решила вернуться к идее создания роботов общего назначения, от которой пыталась отказаться ещё в 2020 году. Теперь руководитель робототехнического направления OpenAI объявила об открытии вакансий в профильном подразделении.

Источник изображения: Unsplash, Maximalfocus

Как отмечает TechCrunch, для данных заявлений Кейтлин Калиновски (Caitlin Kalinowski), которая с ноября прошлого года руководит в OpenAI направлением аппаратных решений, а до этого работала в Meta✴ Platforms над созданием очков дополненной реальности, использовала собственную страничку в социальной сети X. Она отметила, что OpenAI будет разрабатывать собственных роботов с уникальным набором датчиков, которые найдут универсальное применение в динамично меняющихся условиях современного мира. OpenAI также намеревается создать вычислительные компоненты для роботов, которые будут использоваться для работы с ИИ-моделями компании. Создаваемые роботы будут иметь различные формфакторы, как пояснила представительница OpenAI.

В настоящее время компании требуются сотрудники для тестирования прототипов роботов, а также разработчики с опытом создания роботизированных конечностей. Со временем компания рассчитывает наладить массовое производство роботов, измеряемое миллионными тиражами. Сама OpenAI при этом поддерживает стартапы X1 и Figure, специализирующиеся на человекоподобных роботах. Ранее также стало известно, что OpenAI не оставляет попыток создать собственный чип для ускорения работы разрабатываемых ИИ-моделей.

Компания Roborock добавила своему роботу-пылесосу, который дебютировал на выставке CES в прошлом году, роботизированную руку для уборки мелких предметов, разбросанных на полу. Новый Roborock Saros Z70 способен обнаружить и поднять такие вещи, как носки, салфетки и небольшие полотенца, весом до 300 грамм.

Источник изображения: Roborock, Theverge.com

Saros Z70 оснащён камерой и светодиодной подсветкой на руке-манипуляторе, что позволяет ему распознавать предметы и определять их вес. Благодаря датчикам он также может избежать столкновений с другими объектами. В процессе уборки, как объясняет The Verge, робот сначала сканирует помещение, запоминая предметы, которые он может поднять. Затем, начиная уборку, он перемещает эти предметы в чистую зону. Робот может быть даже запрограммирован на то, чтобы собрать эти вещи и отнести их в определённое место, например, в корзину для белья.

Помимо роботизированной руки, Saros Z70 также получил обновлённую систему навигации и распознавания препятствий StarSight Autonomous System 2.0, которая позволяет роботу обучаться распознаванию определённых объектов, например, любимой игрушки или сумки. В приложении пользователи смогут посмотреть, где робот в последний раз видел тот или иной предмет, что может быть полезно для поиска потерянных вещей. Система StarSight использует 3D-датчики, RGB-камеры и машинное обучение для навигации и идентификации до 108 различных объектов.

Источник изображения: Roborock, Theverge.com

Новинка также отличается высокой мощностью всасывания (22 000 Па), двойной системой защиты от спутывания, а также двойными вращающимися швабрами, которые могут подниматься на 2,2 см, чтобы не задевать ковры, и автоматически отсоединяться на базе, когда мойка не требуется. Saros Z70 имеет высоту менее 8 см, что позволяет ему проникать под низкую мебель, а также оснащён шасси AdaptLift для преодоления порогов и ковров. Робот-пылесос комплектуется новой многофункциональной станцией Multifunctional Dock 4.0 для зарядки, автоматической очистки, пополнения и слива воды, а также чистки своих щеток. Обновлённый робот будет представлен на выставке CES 2025 в ближайшие дни.

Стоит сказать, что помимо Saros Z70, компания Roborock также представит на CES ещё две свои флагманские модели — Saros 10R и Saros 10. Saros 10R, в отличие от Z70, имеет меньшую мощность всасывания (19 000 Па), но обладает той же технологией навигации и мойки. Saros 10 предлагает вибрационную швабру VibraRise и улучшенную систему Reactive AI 3.0 для предотвращения столкновений, а также использует навигацию на базе лидара.

Источник изображения: Roborock, Theverge.com

Все три модели поддерживают стандарт Matter 1.4 для интеграции с умным домом и совместимы с Alexa, Siri Shortcuts, Google Home. Устройство также имеет собственного голосового помощника Roborock Hey Rocky. Ожидается, что Saros Z70 поступит в продажу до июня 2025 года, а его цена будет объявлена позже. Saros 10R и Saros 10 поступят в продажу 10 февраля 2025 года по цене $1599 каждая.

На фоне замедления темпов развития ключевых направлений бизнеса, таких как производство полупроводников и мобильных устройств, компания Samsung Electronics решила усилить свои позиции, активизировав деятельность в сфере разработки роботов-гуманоидов.

Источник изображения: Rainbow Robotics

Как сообщает издание TrendForce, 31 декабря Samsung объявила, что приобрела контрольный пакет акций компании-разработчика роботизированных систем Rainbow Robotics, основанной в 2011 году учёными из Корейского института передовых технологий (KAIST). В 2023 году Samsung уже инвестировала 86,8 млрд южнокорейских вон (около $60 млн), чтобы стать владельцем 14,7 % акций этой компании. Однако теперь, воспользовавшись опционом, корпорация увеличила свою долю до 35 %, став крупнейшим акционером.

Samsung планирует объединить свои компетенции в области искусственного интеллекта и программного обеспечения с передовым опытом Rainbow Robotics, разработавшего Hubo — первого двуногого робота Южной Кореи. Целью разработки станет производство интеллектуальных гуманоидных роботов нового поколения, для чего будет создан проект в структуре Samsung под названием Future Robotics Initiative Team, который станет частью подразделения DX Division. Кроме того, Samsung намерена использовать другие разработки Rainbow Robotics для автоматизации своих производственных и логистических процессов, например, автономные мобильные системы и двухруких роботов.

Как подчёркивает TrendForce, выход Samsung на рынок гуманоидных роботов обострит конкуренцию в этой сфере. Главным соперником компании на внутреннем рынке станет Hyundai Motor, которая усилила свои позиции в робототехнике, приобретя в 2021 году Boston Dynamics, и кроме того, продолжая активно работать над созданием «универсальных человекоподобных роботов совместно с Toyota».

На международной арене конкуренция не менее напряженная. Tesla, лидер в области электромобилей, разрабатывает собственного робота-гуманоида Optimus и планирует начать его серийное производство в малых объёмах в 2025 году, а к 2026 году выйти на массовый выпуск для продажи другим компаниям.

Ещё одним крупным игроком в разработке гуманоидных роботов стала Nvidia. Компания планирует выпустить в первой половине 2025 года компактные компьютеры Jetson Thor, предназначенные специально для роботов-гуманоидов. Эти устройства основаны на программном обеспечении для обучения ИИ-роботов и мощных процессорах, обеспечивающих их работу. Примечательно, что расширение Nvidia в робототехнике происходит на фоне стремления Amazon, Microsoft и Google сократить зависимость от Nvidia, при этом тоже проявляя интерес к рынку гуманоидных роботов.

Что касается перспектив этого рынка, то по данным исследования TrendForce, мировой рынок роботизированных систем к 2027 году превысит $2 млрд. Массовое производство гуманоидных роботов начнётся уже в 2025 году, а среднегодовой темп роста составит 154 % в период с 2024 по 2027 годы.

Крупнейший производитель ускорителей для решения задач в сфере искусственного интеллекта в лице компании Nvidia будет сильнее склоняться к робототехнике в 2025 году. Ожидается, что уже в первой половине нынешнего года производитель выпустит на рынок новую вычислительную платформу для человекоподобных роботов под названием Jetson Thor.

Источник изображения: Tesla

Это ожидаемый шаг, являющийся частью многолетней стратегии Nvidia по развитию своего бизнеса. При этом компания не планирует напрямую конкурировать с производителями человекоподобных роботов, такими как Tesla. Вместо этого Nvidia хочет сформировать платформу для роботов, использовать которую смогут клиенты компании. Ранее в этом году вице-президент Nvidia по робототехнике и периферийным вычислениям Дипу Талла (Deepu Talla) заявлял, что рынок робототехники сильно фрагментирован и насчитывает «сотни тысяч» потенциальных клиентов, которые могут быть заинтересованы в использовании единой вычислительной платформы для роботов. Он также добавил, что компания сотрудничает с такими крупными производителями, как Tesla, Siemens и Universal Robots, причём два последних производителя уже активно внедряют решения на базе платформы Jetson.

Существенный сдвиг в сфере производства человекоподобных роботов Талла связывает с двумя факторами. Речь идёт о бурном развитии генеративных нейросетей и возможности обучения роботов с использованием моделируемой среды. Очевидно, Nvidia считает рынок робототехники одним из перспективных направлений для дальнейшего развития компании и наращивания прибыли. Продвижение компании в этом сегменте происходит в то время, когда крупные клиенты Nvidia, такие как Amazon и Google, стремятся снизить свою зависимость от графических ускорителей компании, пытаясь создать собственные аналоги, способные эффективно обрабатывать задачи искусственного интеллекта.

Китайский стартап Agibot, запущенный в феврале 2023 года и работающий в сфере робототехники, вызвал значительный ажиотаж в отрасли, заявив о начале массового производства человекоподобных роботов общего назначения. По данным китайских СМИ, к концу года компания поставит около 1000 роботов.

Источник изображения: Agibot

Стартап Agibot, известный на домашнем рынке под именем Zhiyuan Robotics, опубликовал на официальном сайте несколько кадров своего производственного предприятия, с помощью которого, как сообщается, к настоящему моменту было создано 962 человекоподобных робота. Вместе с этим Agibot опубликовала небольшое видео, в котором демонстрируются разные этапы производства роботов на заводе Lingang Fengxian в Шанхае.

На производственной линии компании, помимо прочего, задействованы собственные роботы-гуманоиды, которые помогают людям выполнять разные задачи, такие как размещение инструментов на полках и тестирование компонентов. Стартап также организовал так называемую «фабрику сбора данных» для обучения роботов выполнению разных задач, таких как складывание одежды, уборка и стирка белья.

Разработкой человекоподобных роботов занимаются разные компании по всему миру. В их число входит принадлежащая Илону Маску (Elon Musk) Tesla, основной бизнес которой связан с производством электромобилей. В июле миллиардер завил, что по-настоящему полезные роботы-гуманоиды начнут использоваться Tesla внутри компании в следующем году, а их массовое производство намечено на 2026 год.

Начало серийного производства роботов Agibot свидетельствует о том, что китайская компания опережает Tesla, но вряд ли отрыв существенен. По мнению аналитиков, это также указывает на впечатляющие темпы развития рынка робототехники, за счёт чего роботы-гуманоиды фактически превратились из лабораторных прототипов во вполне осязаемые продукты.

В сообщении сказано, что аппаратное обеспечение роботов достигло заметного уровня стандартизации, поэтому роботы-гуманоиды разных компаний в этом плане мало чем отличаются друг от друга. При этом американские компании, такие как Tesla и Nvidia, имеют определённые преимущества в таких областях, как точное манипулирование верхними конечностями и операционные возможности, а также в производстве высокопроизводительных чипов и ресурсах облачных вычислений. В это же время китайские компании больше преуспели в управлении движением и создании передовых ИИ-моделей, а также проработке разных сценариев применения роботов.

Недавняя демонстрация человекоподобного робота Tesla Optimus, который на видео ловил теннисные мячи своей обновлённой кистью руки, в первую очередь привлекала плавностью и естественностью движений конечности, но представители компании не стали скрывать, что роботом в очередной раз управлял человек. Зато они рассказали, что изменилось в устройстве новых рук робота.

Источник изображения: X, Tesla Optimus

Как поясняет Electrek, руководитель проекта Optimus Милан Ковач (Milan Kovac) рассказал об изменениях, которым подверглись руки робота, полученные им буквально в подарок на так называемую «чёрную пятницу». По словам представителя Tesla, новые манипуляторы ещё предстоит доработать к концу текущего года, преимущественно в части способности новых рук тактильно распознавать различные типы поверхности. В этом новые руки робота значительно превосходят предшествующий вариант, причём особой сложностью при их создании было сохранение адекватной чувствительности с учётом появления внешнего покрытия, напоминающего человеческие кожу и плоть. По словам Ковача, новая рука получила защитное покрытие на пальцах и ладони, которое достаточно мягкое и податливое на ощупь, но при этом позволяет тактильно распознавать различные поверхности с приемлемой точностью.

Кинематику пальцев удалось существенно улучшить за счёт появления некоего подобия человеческих сухожилий. Исполнительные устройства, которые приводят их в движение, при этом сосредоточены в предплечье. Это немного увеличило массу соответствующей части руки робота, но по сравнению с предшествующим вариантом оптимизация массы предплечья также была проведена. Как отмечалось ранее, кисть робота Optimus имеет 22 степени свободы, лишь незначительно уступая человеческой, ещё три степени свободы добавляют запястье и предплечье. Столь точное следование человеческой анатомии будет полезно не столько при производстве человекоподобных роботов, сколько при создании бионических протезов, которыми смогут пользоваться лишившиеся верхней конечности люди. Соответствующие планы глава Tesla Илон Маск (Elon Musk) упоминал публично.

Ранее в этом году компания Figure AI представила своего человекоподобного робота второго поколения Figure 02. За несколько месяцев с момента презентации он повысил скорость выполнения задач в 4 раза, а точность его действия при этом возросла в 7 раз. В компании этот прогресс назвали переломным для автономных производственных систем.

Источник изображения: Бретт Адкок / X

Робот Figure 02 тестировался на производственном предприятии BMW в Спартанберге, США. Этот случай стал первым, когда человекоподобный робот был интегрирован в производственную линию автопроизводителя. За время обучения скорость Figure 02 выросла до 1000 одинаковых операций в день, что является важной вехой для человекоподобных роботов, применяемых в промышленности. «Этот показатель будет расти по мере того, как мы будем внедрять больше роботов, собирать больше данных и совершенствовать наши модели искусственного интеллекта», — считает основатель и гендиректор Figure AI Бретт Эдкок (Brett Adcock).

Важную роль играет не только скорость выполнения задач, но и точность действия робота. За время обучения возможности Figure 02 в плане точности существенно возросли, особенно при установке листов металла в пазы шириной менее сантиметра. Эдкок рассказал, что роботу нужно было осуществлять манипуляции с «труднообрабатываемыми деталями из листового металла», избегая столкновений и обеспечивая точную установку деталей. Для соответствия производственным стандартам разработчикам было необходимо сократить цикл выполнения одной операции на 4 минуты. «Пожалуй, это было в 10 раз сложнее, чем любая задача по манипулированию, демонстрируемая нами ранее», - считает Эдкок. Он добавил, что Figure 02 ещё не раскрыл весь свой потенциал и робот далёк от максимально возможной скорости выполнения задач.

Хотя Figure AI огласила результаты первых испытаний, в BMW заявили, что «на заводе BMW Group Plant Spartanburg пока нет роботов Figure AI, и нет определённого графика их появления там». Несмотря на это, возвращение Figure 02 на завод BMW планируется в 2025 году. Помимо BMW разработчик человекоподобных роботов успел заручиться поддержкой других крупных компаний и привлёк в рамках последнего раунда финансирования $675 млн инвестиций. Среди инвесторов были такие компании как OpenAI, Nvidia, Microsoft, а также основатель Amazon Джефф Безос (Jeff Bezos). В настоящее время рыночная стоимость Figure AI оценивается в $2,6 млрд.

Компания Robust AI из США представила робота Carter Pro, предназначенного для работы на складах. Ключевой особенностью новой системы является возможность её безопасного взаимодействия с людьми, включая ручное перемещение робота.

Источник изображения: Robust.ai

В демонстрационном центре компании в Сан-Карлосе (Калифорния, США) Carter Pro перемещается по складу среди привычных для таких пространств модульных стеллажей. Однако внимание привлекает способ, которым сотрудники компании взаимодействуют с роботом. Как пишет Tom's Hardware, они могут брать управление им на себя и перемещать вручную, при этом не подвергая себя опасности со стороны работающего робота.

Одной из ключевых задач, которые решает Carter Pro, является обеспечение безопасности при взаимодействии человека с роботами. Известно, что многие электрические погрузчики, существующие с 1930-х годов, до сих пор регулярно становятся причиной травм на рабочем месте, а что касается промышленных роботов, то их вообще приходиться изолировать за железными конструкциями в целях защиты людей. Carter Pro представляет в этом плане совершенно новый подход.

Источник изображения: Robust.ai

В основу системы заложен принцип совместной работы человека и робота, который может «чувствовать» прикладываемое к нему усилие и адаптироваться под новые условия взаимодействия с окружающей обстановкой. Особенностью является использование камер вместо лидаров для навигации. Несмотря на большую стоимость, этот подход становится всё более популярным среди производителей автономных мобильных движущихся роботов (AMR), так как в условиях складских помещений у камер больше преимуществ по сравнению с лидарами.

Источник изображения: Robust.ai

Carter Pro уже тестируются рядом партнёров, а недавно с производственной линии сошёл первый серийный вариант. Первым крупным клиентом стала компания DHL, однако Robust AI не станет ограничиваться этим сотрудничеством. «Мы не планируем работать только с DHL», — отметил технический директор Родни Брукс (Rodney Brooks), подчеркнув, что компания намерена диверсифицировать клиентскую базу, чтобы избежать зависимости от одного крупного заказчика, как это случилось с некоторыми другими робототехническими компаниями. «Мы дали понять DHL, что они получают только определённый процент от наших роботов, потому что нам нужна более широкая клиентская база», — добавил Брукс.

Nvidia в первой половине 2025 года выпустит на рынок Jetson Thor — новую вычислительную платформу для человекоподобных роботов. Компания рассчитывает занять свою нишу в быстрорастущем секторе робототехники, но не выпуская непосредственно роботов, а производя для них «мозги» и продавая их производителям робототехники по всему миру.

Источник изображения: Nvidia

Jetson Thor — это новейшая и наиболее мощная система в линейке компактных компьютеров Nvidia Jetson, предназначенных для приложений искусственного интеллекта. Новая модель ориентирована именно на робототехнику. Jetson Thor позволит наделить роботов более высокой автономностью и улучшить их способность взаимодействовать с людьми и окружающей средой.

Jetson Thor был создан как новая вычислительная платформа, способная выполнять сложные задачи и безопасно и естественно взаимодействовать с людьми и машинами. Она имеет модульную архитектуру, оптимизированную по производительности, мощности и размеру. Чип включает GPU нового поколения на архитектуре Blackwell с ИИ-движком, обеспечивающим производительность 800 Тфлопс в FP8. Также имеется встроенный модуль безопасности, высокопроизводительный кластер CPU-ядер и интерфейс 100-Гбит Ethernet.

На ежегодной конференции Nvidia в марте 2024 года генеральный директор Дженсен Хуанг (Jensen Huang) продемонстрировал несколько роботов, использующих чипы Nvidia. Важно отметить, что вместо того, чтобы выпускать собственных роботов, Nvidia позиционирует себя как поставщика технологий, подобно тому, как Google предоставляет платформу Android производителям смартфонов. Такая модель работы позволяет Nvidia сосредоточиться на разработке базовой инфраструктуры, тогда как производством и настройкой конечных решений займутся клиенты.

«Мы предоставляем платформу для роботов, мы не строим роботов», — подчеркнул вице-президент Nvidia по робототехнике и периферийным вычислениям Дипу Талла (Deepu Talla). В отличие от рынка смартфонов, где доминируют несколько крупных игроков, сектор робототехники сильно фрагментирован и насчитывает «сотни тысяч» потенциальных клиентов. Nvidia уже сотрудничает с такими крупными производителями, как Siemens и Universal Robots, которые активно внедряют решения на основе Jetson в своих проектах.

Талла также отметил, что Nvidia поставляет технологии Tesla для создания человекоподобных роботов. Напомним, что Tesla сейчас активно разрабатывает робота Optimus. По словам Илона Маска (Elon Musk), робот Optimus к концу 2025 года выйдет на ограниченное производство для использования на заводах Tesla, а в 2026 году планируется выпуск роботов для сторонних заказчиков.

Рынок человекоподобных роботов показывает большие перспективы, хотя широкомасштабное внедрение таких машин произойдёт не слишком скоро. Человекоподобные роботы могут изменить принципы взаимодействия между человеком и машиной в самых разных секторах — от промышленного производства и строительства до здравоохранения и домашних дел. Эти роботы могут выполнять различные задачи, помогая облегчить физическую работу и решать проблемы нехватки рабочей силы, с которой сталкиваются многие страны. Так, например, в Китае значительное внимание уделяется развитию этой технологии — от мехатроники до искусственного интеллекта, что обусловлено усиливающимся дефицитом рабочей силы и потребностью в автоматизации.

Известный шеф-повар и блогер Ник ДиДжиованни (Nick DiGiovanni) провёл кулинарный поединок с роботом-гуманоидом NEO Beta компании 1X, продемонстрировав перспективы использования роботов в домашнем быту. С помощью приложения дистанционного управления, работающего на платформе Meta✴ Quest и обеспечивающего контроль движений, NEO Beta под руководством оператора приготовил стейк средней прожарки.

Источник изображений: 1x.tech

Идея проекта возникла после обсуждений с командой ДиДжиованни, который предложил превратить NEO Beta в «финального босса» — робота-повара, с которым ему предстояло бы сразиться на кухне. Команда 1X поддержала эту идею, и вскоре началась подготовка к съёмкам. Сценой для кулинарной схватки стал город Саннивэйл (штат Калифорния), расположенный неподалёку от штаб-квартиры 1X, где и были разработаны все технические решения, обеспечивающие роботу гибкость и точность движений.

Процесс съёмок был сосредоточен на демонстрации возможностей NEO Beta, которому предстояло самостоятельно выполнить все этапы приготовления стейка — от приправки специями до аккуратного переворачивания его на сковороде. Эта задача была сложной: от робота требовалось точное выполнение действий, требующих контроля температуры и соблюдения времени. Чтобы обеспечить успешное выполнение всех движений, команда использовала дистанционное управление роботом через приложение 1X для Meta✴ Quest, что позволило добиться плавности и точности на каждом этапе готовки. По словам разработчиков, единственное, что на данный момент отделяет NEO Beta от полной автономности, — это необходимость обработки и синтеза значительного объёма данных на каждом этапе.

Съёмки проходили в домашней обстановке, что усиливало ощущение реальности происходящего. ДиДжиованни даже привёз для робота специально пошитый китель «Chef NEO», а холодильник был с избытком заполнен мраморной говядиной, чтобы в случае ошибки у робота всегда был запасной стейк. К удивлению команды, NEO Beta с первой попытки идеально справился с приготовлением стейка и продемонстрировал реальный потенциал робота как перспективного помощника на кухне.

Съёмочный процесс не обошёлся без курьёзов, которые сделали атмосферу более живой. Так, в одном из эпизодов NEO Beta случайно опрокинул бутылку с оливковым маслом. Самым впечатляющим эпизодом стала техника обжарки с добавлением масла, которую робот выполнил с точностью, достойной профессионального повара. ДиДжиованни позже отметил, что NEO Beta превзошёл даже таких мастеров, как Гордон Рамзи (Gordon Ramsay) и дядя Роджер (Uncle Roger).

Хотя NEO Beta смог успешно выполнить все основные действия — от приправки стейка специями до его переворачивания и снятия с огня, включение конфорки потребовало вмешательства человека. Ник и его команда решили оставить эту сцену в видео, чтобы продемонстрировать текущий уровень автономности робота. Компания 1X подчёркивает важность прозрачности в создании подобных видеороликов, чтобы поддерживать доверие и не завышать ожидания аудитории.

Несмотря на то что робот был оснащён функцией голосового общения в реальном времени с помощью интеграции GPT-4o, команда выбрала контролируемый диалог, что помогло поддержать стилистическое единство и создать атмосферу, задуманную ДиДжиованни. В дополнение ко всему, внимательный и дружелюбный голос NEO Beta подчёркивал образ надёжного домашнего помощника.

Следует отметить, что, несмотря на успешное приготовление стейка, функция приготовления еды пока не входит в функциональность первых моделей NEO Beta. Первоначальные версии робота будут ориентированы на выполнение безопасных задач, не требующих контакта с горячими или острыми предметами. Разработчики считают, что на данном этапе робототехника должна начинать с более простых бытовых задач, обеспечивая при этом высокий уровень безопасности для людей, прежде чем стать их незаменимым помощником на кухне.

Бывший инженер Национального управления по аэронавтике и исследованию космического пространства (NASA) США и YouTube-блогер Марк Робер (Mark Rober) создал робота по имени Rocky, который идеально справляется с известной во всем мире игрой «Камень, ножницы, бумага». В опубликованном видео блогер ни разу не смог обыграть своё творение.

Источник изображения: YouTube

Робер с энтузиазмом продемонстрировал возможности Rocky. По словам инженера, шансы победить робота в игре «Камень, ножницы, бумага» составляют «ноль процентов». Добиться такого впечатляющего результата удалось благодаря невероятно быстрой системе отслеживания движений рук и пальцев соперника. Для этого используются инфракрасные датчики, собирающие данные сто раз в секунду.

Полученные от датчиков данные передаются на мини-компьютер, размещённый внутри корпуса Rocky. Затем вступает в действие специальный алгоритм, который с невероятной точностью определяет, какой вариант из трёх выберет соперник, и делает это за доли секунды. Как только робот понимает, какой вариант выбрал соперник, он с помощью сервоприводов вытягивает руку и показывает выигрышную комбинацию.

«Что касается победы над Rocky, к сожалению, независимо от вашей стратегии, ваши шансы намного, намного ниже. Примерно 0 %», — заявил создатель необычного робота.

Никакая стратегия не поможет обыграть Rocky, поскольку робот делает свой ход только после того, как его соперник начинает движение. Робер настолько уверен в своём творении, что даже назначил приз в размере $10 000, который сможет забрать человек, победивший Rocky в игре «Камень, ножницы, бумага». По сути, робот обманывает своих соперников, внимательно следя за их движениями и делая свой ход только после того, как становится уверен в победе. Однако он делает это настолько быстро, что в динамике всё выглядит так, будто робот читает мысли соперника.

Бывший руководитель отдела разработки очков дополненной реальности (AR) компании Meta✴, Кейтлин Калиновски (Caitlin Kalinowski), перешла в OpenAI. На своей странице в LinkedIn она сообщила, что возглавит направление робототехники и потребительских устройств в OpenAI. Компания также подтвердила её назначение, подчеркнув, что опыт Калиновски поможет вывести ИИ в реальный мир, расширяя его возможности для массового использования.

Источник изображения: caitlinkalinowski.com

Калиновски пришла в Meta✴ в 2022 году, где возглавила работу над проектом AR-очков Orion, представленных на ежегодной конференции Meta✴ Connect. В течение девяти лет она также руководила проектами по разработке устройств виртуальной реальности. До работы в Meta✴ Калиновски трудилась в Apple, где занималась проектированием аппаратного обеспечения для MacBook, приобретая ценный опыт в создании высококачественной потребительской электроники.

Калиновски прокомментировала своё назначение в OpenAI так: «С радостью сообщаю, что присоединяюсь к команде OpenAI в качестве руководителя направлений робототехники и потребительского оборудования. На новом посту я сосредоточусь на проектах OpenAI в области робототехники и развитии партнёрских отношений, чтобы внедрить искусственный интеллект в физическую реальность и раскрыть его возможности на благо человечества».

Предполагается, что Калиновски будет работать совместно с Джони Айвом (Jony Ive), бывшим топ-менеджером Apple, который сейчас возглавляет LoveFrom и разрабатывает вместе с OpenAI новое аппаратное ИИ-решение. В сентябре Айв подтвердил, что их совместное устройство будет «менее социально деструктивным, чем iPhone». Это партнёрство позволит OpenAI и LoveFrom объединить усилия для создания принципиально нового формата взаимодействия пользователей с ИИ.

OpenAI также объявила о поиске инженеров-исследователей для новой команды по робототехнике. Команда призвана помочь партнёрам компании интегрировать мультимодальные технологии OpenAI в физические устройства. Это возрождение робототехнического направления OpenAI знаменательно, ведь в 2018 году компания приостановила подобные исследования, сосредоточив усилия на разработке программного обеспечения (ПО). В частности, одним из достижений той эпохи стала роботизированная рука, способная обучаться самостоятельному захвату объектов.

Технологии OpenAI уже активно внедряются в современные устройства. Так, Apple планирует интегрировать ChatGPT в iPhone до конца года, расширяя возможности пользователей «яблочных» устройств. Кроме того, робототехническая компания Figure использует технологии OpenAI: её робот-гуманоид Figure 01 может вести естественные диалоги благодаря встроенному ПО OpenAI. Эти примеры подтверждают растущую значимость ИИ в улучшении его взаимодействия с человеком.

Приход Кейтлин Калиновски в OpenAI — значимый шаг для компании, стремящейся воплотить ИИ в физическом мире. Её опыт и знания в области разработки потребительских устройств могут дать новый импульс аппаратным проектам компании, обеспечивая ИИ более широкое проникновение в повседневную жизнь и делая его неотъемлемой частью нашей привычной реальности.

Исследователи из Массачусетского технологического института (MIT) разработали собственный метод обучения роботов новым навыкам. Вместо стандартного набора сфокусированных данных, которые обычно используются при обучении роботов, они задействовали большие массивы данных, тем самым имитируя процесс обучения больших языковых моделей (LLM).

Источник изображения: MIT

По мнению исследователей из MIT, имитационное обучение, когда робот учится на действиях человека, выполняющего ту или иную задачу, может оказаться неэффективным при несущественном изменение окружающей обстановки. К примеру, у робота могут возникнуть трудности после обучения, если он попадёт в обстановку с другим освещением или предметами.

В своей работе исследователи задействовали разные LLM, такие как GPT-4, чтобы повысить качество обучения методом перебора данных. «В области языковых моделей все данные — это просто предложения. В робототехнике, учитывая всю неоднородность данных, если вы хотите проводить предварительное обучение аналогичным образом, то потребуется другая архитектура», — рассказал один из авторов исследования Лируй Ванг (Lirui Wang).

Исследователи разработали новую архитектуру под названием Heterogeneous Pretrained Transformers (HPT), которая объединяет информацию, получаемую от разных датчиков и из разных сред. Собираемые таким образом данные объединяются в обучаемые модели с помощью «трансформера». Конечному пользователю нужно лишь указать дизайн робота, его конфигурацию и навык, которому он должен обучиться.

«Мы мечтаем о создании универсального мозга робота, который можно было бы загрузить и использовать в своём роботе без какого-либо обучения. Пока мы находимся на ранних стадиях, но мы собираемся продолжать упорно работать и надеемся, что масштабирование приведёт к прорыву в робототехнике, как это было с большими языковыми моделями», — рассказал один из авторов исследования Дэвид Хелд (David Held).

Boston Dynamics и Toyota объявили о партнёрстве для разработки универсальной роботизированной антропоморфной платформы с элементами ИИ и способностью к обучению. По аналогии с большими языковыми моделями ИИ (LLM), на платформе антропоморфного робота Atlas Институт Toyota (TRI) внедрит собственную «большую поведенческую модель» (Large Behavior Models, LBM). В случае успеха Toyota начнёт распространять адаптированную модель LBM для роботов других компаний.

Полностью электрический робот Atlas. Источник изображения: Boston Dynamics

Антропоморфный робот Atlas компании Boston Dynamics произвёл фурор и может считаться эталоном в современной антропоморфной робототехнике. Он не пошёл в серию, но это не отменяет отработку на нём множества новаторских решений, которые, так или иначе, нашли или найдут отражение в роботах других компаний.

Ранее в этом году компания Boston Dynamics остановила развитие оригинального робота Atlas на гидравлике и представила полностью электрическую его версию. Электрический Atlas получил намного больше степеней свободы для всех конечностей, что, как нетрудно догадаться, помимо значительного расширения функциональности намного усложнило управление платформой.

Институт Toyota преуспел в методах обучения роботизированных манипуляторов навыкам делать что-то «своими руками». Метод основан на телеприсутствии, когда человек-оператор лично управляет манипуляторами, наблюдая за процессом как бы глазами робота. Затем система самостоятельно повторяет манипуляции с множеством интерпретаций — как правильных, так и ошибочных — и уже на этом массиве данных строит своё будущее поведение. Такой метод позволяет платформам ИИ самостоятельно учиться даже тем вещам, которые человек им не показывал, что экономит время на обучение.

Человечество накопило огромные данные в текстовом виде, что обеспечило моделям LLM взрывной рост за считанные годы. Аналогичных по объёмам данных по физическому поведению нет. Институт Toyota, среди прочих, создаёт такие базы и считается одним из лидеров этого процесса. Объединение усилий Boston Dynamics и Института Toyota вокруг создания обучаемой антропоморфной платформы Atlas обещает привести к появлению универсального человекоподобного робота, который будет способен выполнять широкий спектр физических действий и задач. Каждый из партнёров — ведущий специалист в своей области, поэтому вероятность успеха высока как никогда.