Амнон Шашуа (Amnon Shashua) известен как основатель стартапа машинного зрения Mobileye и компании по изучению искусственного интеллекта AI21 Labs. В 2022 году, опираясь на полученный в этих сферах опыт, он создал Mentee Robotics —стартап в области робототехники. Сегодня компания представила гуманоидного робота Menteebot, главными преимуществами которого создатель называет продвинутое машинное зрение и обучающийся генеративный ИИ.

Источник изображений: Mentee Robotics

«Мы находимся на пороге сближения компьютерного зрения, понимания естественного языка, мощных и детальных симуляторов, а также методологий перехода от моделирования к реальному миру, — заявил Шашуа. — В Mentee Robotics мы рассматриваем эту конвергенцию как отправную точку для разработки будущего универсального двуногого робота, который сможет передвигаться повсюду (как человек) с помощью мозга, выполняя работу по дому и осваивая новые навыки, которым он ранее не был обучен».

Представленный робот во многом является прототипом, хотя его создатели считают, что добились достаточного прогресса, чтобы оправдать публичный дебют после двух лет напряжённой работы. Творческий и инженерный состав Mentee Robotics впечатляет. Помимо Шашуа, в команду основателей входят бывший директор Facebook✴ по исследованиям ИИ Лиор Вольф (Lior Wolf) и профессор Еврейского университета в Иерусалиме Шай Шалев-Шварц (Shai Shalev-Shwartz). Эта команда при содействии венчурной фирмы Ahren Innovation Capital помогла привлечь инвестиции в размере $17 млн.

«Большие языковые модели используются для интерпретации команд и “продумывания” необходимых шагов для выполнения задачи. Особое внимание уделяется способности сочетать передвижение и ловкость, то есть динамическое балансирование робота при переносе тяжестей или движении манипуляторов», — говорится в пресс-релизе компании.

Mentee Robotics утверждает, что новый робот адаптирован как для промышленного, так и для потребительского рынков, в отличие от конкурирующих моделей. Компания рассчитывает выпустить готовый к производству прототип к началу 2025 года.

Основатель и владелец компании Neuralink Илон Маск (Elon Musk) анонсировал следующий продукт Neuralink — Blindsight (дословно — «Слепое зрение»). Это устройство предназначено для восстановления зрения. Ещё несколько лет назад Илон Маск заявил, что Neuralink сможет вернуть зрение слепым людям. Теперь, после успешной демонстрации игры в шахматы при помощи мозгового импланта, исполнение обещаний Маска кажется делом недалёкого будущего.

Источник изображения: Computerra

«Первое применение, к которому мы собираемся стремиться у людей, — это восстановление зрения, и даже если у кого-то никогда не было зрения, как если бы он родился слепым, мы верим, что все равно можем восстановить зрение. Зрительная часть коры все ещё существует. Даже если они никогда раньше не видели, мы уверены, что они смогут увидеть», — заявил Маск на Neuralink Show & Tell в 2022 году.

«Вы хотите иметь возможность читать сигналы мозга. Вы хотите иметь возможность записывать сигналы. В конечном итоге вы хотите иметь возможность сделать это для всего мозга, а затем распространить это на остальную часть вашей нервной системы, если у вас повреждён спинной мозг или шея», — добавил он.

В ноябре 2023 года Илон Маск сообщил, что Neuralink работает над чипом машинного зрения, но на его подготовку уйдёт несколько лет. В то время компания была сосредоточена на получении одобрения регулирующих органов на свои первые испытания на людях. 20 марта 2024 года Маск в своём аккаунте социальной сети X опубликовал короткое сообщение о следующем продукте компании.

Источник изображения: Twitter

Позже Маск добавил, что имплант Blindsight уже тестируется на обезьянах. «Поначалу разрешение [искусственного зрения] будет низким, как в ранней графике Nintendo, но в конечном итоге может превысить нормальное человеческое зрение», — написал Маск в X и добавил, что ни одна обезьяна не погибла и не получила серьезных травм от устройства Neuralink.

В январе этого года первый парализованный доброволец перенёс операцию по установке в черепную коробку импланта Neuralink, который позволил ему научиться управлять курсором на ноутбуке буквально при помощи мысли. Компания на этой неделе опубликовала видео, демонстрирующие обретённые после этой операции добровольцем новые физические возможности.

Европейские учёные предложили адаптировать популярные ИИ-алгоритмы систем машинного зрения для анализа сделанных при помощи радаров снимков околоземного пространства и обнаружения на них миниатюрных частиц космического мусора.

Источник изображения: nasa.gov

Исследователи провели эксперимент, применив существующие нейросети, используемые в системах машинного зрения, для анализа данных с европейского радара TIRA — это 47-метровая радиотарелка, которая помогает наблюдать за околоземным пространством и получать изображения, на которых производится поиск космического мусора.

Авторы проекта попытались заменить стандартные алгоритмы анализа данных TIRA нейросетями семейства YOLO, которые применяются для поиска движущихся объектов на снимках. Версии нейросетей YOLOv5 и YOLOv8 обучили при помощи массива из 3000 снимков околоземного пространства и проверили их эффективность на примере 600 изображений с радаров, на которых были от одного до трёх частиц космического мусора.

Обе нейросети корректно обнаружили от 85 % до 97 % частиц размером от сантиметра при минимальном числе ложных срабатываний. Результат оказался выше того, что демонстрирует стандартный алгоритм TIRA. Учёные сделали вывод, что системы машинного зрения могут успешно применяться для поиска космического мусора в околоземном пространстве и для его отслеживания в реальном времени. Это поможет снизить число инцидентов, связанных с попаданием частиц космического мусора в работающие орбитальные аппараты.

По оценкам экспертов, на орбите Земли могут находиться более 170 млн частиц космического мусора.

Бывшие инженеры Google Nest представили Matic — полностью автономный робот-пылесос с новым подходом к уборке. Он использует для навигации пять камер, а не датчики и лидары, как его собратья. Он менее подвержен типичным проблемам роботов-пылесосов, таким как ковры с высоким ворсом, кабели и ограниченное пространство, поскольку действительно «видит» куда движется. Новинке не требуется подключение к интернету, поэтому пользовательские данные в полной безопасности.

Источник изображений: Flutter

Matic находится в разработке уже шесть лет — с тех пор, как Мехул Нариявала (Mehul Nariyawala) и Навнит Далал (Navneet Dala) покинули Google Nest, чтобы использовать свой совместный опыт в стартапе Flutter для создания по-настоящему автономного домашнего робота-уборщика. В Google разработчики занимались проектированием камеры Nest Cam IQ и умного дверного звонка Nest Hello.

Главной отличительной особенностью нового робота-пылесоса является то, что Matic создаёт трёхмерную карту дома, которая в сочетании с компьютерным зрением позволяет ему маневрировать подобно беспилотному автомобилю. Matic отличается от ставших привычными круглых роботов-пылесосов. Его квадратный приземистый белый корпус с большими колёсами и выдвигающейся насадкой делает его более похожим на мультяшного Wall-E, чем на реальный робот-пылесос Roomba. Разработчики утверждают, что он умеет «имитировать человеческое восприятие и самообучение с помощью камер и нейронных сетей, которые обеспечивают распознавание изображений, принятие решений и 3D-картографирование».

Matic может проводить как влажную, так и сухую уборку. Благодаря машинному зрению он самостоятельно идентифицирует различные типы полов и переключается в соответствующий режим. По словам создателей, ИИ обеспечивает роботу-пылесосу более высокий уровень преодоления препятствий, позволяя ему идентифицировать практически любой объект. Разработчики уверяют, что Matic может опознавать гораздо больше предметов, чем конкуренты. Робот успешно отличает мусор от других предметов, например, кружек или детских игрушек, и объезжает последние.

Ещё одна уникальная особенность Matic — управление жестами. У него также имеется встроенный динамик и микрофоны, поэтому пылесос в состоянии выполнять такие команды, как «Matic, приберись на кухне» или «Matic, помой ванную». Он также может самостоятельно находить места, требующие уборки, каждые несколько часов отправляясь на поиски грязи. «Со временем он узнает ваши предпочтения, например, после ужина убраться на кухне», — утверждают разработчики.

Matic располагает встроенным резервуаром для воды ёмкостью 600 мл и одноразовым пакетом для мусора объёмом один литр. Утилизация сделана максимально простой и беспроблемной. При заполнении контейнера для мусора, Matic паркуется у мусорного ведра и отправляет сообщение об этом. Вынимать мусор придётся человеку самостоятельно, как и наполнять робота водой. В процессе уборки и жидкость, и грязь попадают в один и тот же пакет, впитывающий жидкость, который после заполнения просто выбрасывается в мусорное ведро.

Два больших передних колеса позволяют Matic преодолевать ковры с высоким ворсом и переходы между комнатами, не застревая, а насадка для мытья полов представляет собой роликовую швабру с функцией самоочистки. При этом робот сам определяет, где нужно пылесосить, а где пол лучше помыть. Производитель заявляет, что уровень шума нового пылесоса не превышает 55 дБ, а качество очистки находится на уровне лучших представителей полноразмерных пылесосов.

Отсутствие необходимости подключения к интернету — большой плюс с точки зрения конфиденциальности, ведь большинство современных роботов-пылесосов не выполняют картографирование без подключения к облаку, а значит потенциально могут передавать персональные данные владельца. Минус в том, что интеграция в системы умного дома без подключения к интернету невозможна. Планов по поддержке Amazon Alexa или Google Home у разработчиков пока нет, хотя они изучают возможность интеграции стандарта умного дома Matter.

Благодаря опыту бывших инженеров Tesla, работающих в Matic, и финансовой поддержке соучредителя Nest Мэтта Роджерса (Matt Rogers), основателя Twitter Джека Дорси (Jack Dorsey) и бывшего директора GitHub Ната Фридмана (Nat Friedman), потенциал у компании определённо есть. Время покажет, станет ли Matic гигантским шагом вперёд в домашней робототехнике.

Робот-пылесос Matic оценён производителем в $1800. На этапе предварительного заказа его можно приобрести у производителя по цене $1495, что включает годовое членство в Matic стоимостью $180. Начало поставок запланировано на март 2024 года

Учёные из китайского университета Цинхуа разработали полностью аналоговый фотоэлектронный чип ACCEL, который обещает совершить революцию в задачах высокоскоростного машинного зрения. Чип, сочетающий электронные и оптические технологии, способен продемонстрировать беспрецедентную энергоэффективность и высочайшую скорость вычислений для задач машинного зрения. В этой сфере новый чип радикально превосходит современные графические процессоры.

Источник изображения: Pixabay

Традиционные процессоры обладают ограниченной скоростью вычислений и потребляют колоссальное количество энергии при решении задач машинного зрения, таких как распознавание изображений для автономного вождения, робототехники и медицинской диагностики. Эти задачи требуют обработки изображений с высоким разрешением, точной классификации и сверхнизкой задержки.

Чип ACCEL реализует преимущества развивающейся области фотонных вычислений, которые используют свет для обработки информации. Интегрируя дифракционные оптические аналоговые вычисления (OAC) и электронные аналоговые вычисления (EAC) в одном чипе, ACCEL достигает замечательной энергоэффективности и скорости вычислений.

Метод OAC использует управление световыми волнами посредством дифракции для кодирования и обработки информации. При помощи интерференционных паттернов, создаваемых светом, вычисления производятся аналоговым способом, обрабатывая данные непрерывно, а не дискретными цифровыми шагами. Метод EAC использует электронные компоненты для манипулирования непрерывными физическими величинами. Вместо работы с цифровыми сигналами в виде нулей и единиц, EAC использует постоянно меняющиеся аналоговые сигналы.

Архитектура ACCEL / Источник изображения: Tsinghua University

Оба метода дают преимущества для определённых видов вычислений и способствуют разработке задач высокоскоростного зрения.

ACCEL при обработке изображений не требует АЦП для преобразования изображения, напрямую используя для вычислений фототоки, индуцированные светом, что приводит к значительному сокращению задержек. ACCEL достигает системной энергоэффективности 74,8 пета-операций в секунду на ватт, что более чем на три порядка выше, чем у современных графических процессоров. Скорость вычислений достигает 4,6 пета-операций в секунду, при этом более 99 % вычислений выполняются оптически.

Благодаря интеграции оптоэлектронных вычислений и адаптивного обучения ACCEL достигает конкурентоспособной точности классификации объектов в различных задачах. Новый чип продемонстрировал точность 85,5 %, 82,0 % и 92,6 % для задач Fashion-MNIST, 3-классовой классификации ImageNet и задач распознавания покадрового видео соответственно. Примечательно, что ACCEL демонстрирует высокую надёжность даже в условиях низкой освещённости, что делает его пригодным для портативных устройств, автономного вождения и промышленных применения.

Сравнение скорости и энергоэффективности ACCEL с традиционными методами / Источник изображения: Tsinghua University

Сверхнизкое энергопотребление нового чипа значительно снижает тепловыделение, открывая путь дальнейшему совершенствованию и миниатюризации. В отличие от традиционных оптоэлектронных цифровых вычислительных систем, ACCEL гибко сочетает дифракционные оптические вычисления и электронные аналоговые вычисления, а его архитектура обеспечивает масштабируемость, нелинейность и высокую адаптируемость.

В исследовании, опубликованном в журнале Nature, исследователи заявили: «Разработка вычислительной системы, основанной на совершенно новом принципе, является огромной задачей. Однако ещё более важно успешно реализовать эту вычислительную архитектуру следующего поколения в реальные приложения, отвечающие важнейшим потребностям общества».

В рецензии на исследование, опубликованной в журнале Nature's Research Briefing, эксперты высказали убеждение, что «ACCEL может позволить этим архитектурам сыграть роль в нашей повседневной жизни гораздо раньше, чем ожидалось».

Всё новое — это, несомненно, хорошо забытое старое. Самым первым аналоговым вычислительным устройством является хорошо знакомая старшему поколению логарифмическая линейка.

Источник изображения: myruler.ru

Другим известным примером аналоговых вычислительных устройств является настольная аналоговая вычислительная машина МН-7, разработанная в далёком 1955 году. Она успешно решала обыкновенные дифференциальные уравнения до 6-го порядка. Не менее успешно при помощи подобных машин создавались математические модели физических процессов, что использовалось при решении задач АСУ ТП.

Источник изображения: computerra.ru

В аналоговой вычислительной машине (АВМ) мгновенному значению исходной переменной величины ставится в соответствие мгновенное значение другой величины, часто отличающейся от исходной физической природой и масштабным коэффициентом. Каждой элементарной математической операции, как правило, соответствует физический закон, устанавливающий математические зависимости между физическими величинами на выходе и входе (например, закон Ома).

Особенности представления исходных величин и построения алгоритмов предопределяют большую скорость работы АВМ и простоту программирования, но ограничивают область применения и точность получаемого результата. АВМ отличается малой универсальностью (алгоритмическая ограниченность) — при решении задач другого класса необходимо перестраивать структуру машины и число решающих элементов.

А теперь мы становимся свидетелями того, как в мире, казалось бы, победивших цифровых технологий, вновь начинают находить применение аналоговые вычисления, вышедшие на новый уровень развития.

Сводная группа физиков и химиков создала материал, который обладает рядом уникальных характеристик. Это своего рода сплав гидрогеля и силикона, который может управляемо и быстро изменять свои размеры и физические характеристики. Одним из применений нового материала может быть машинное зрение с простой фокусировкой массивов мягких линз вплоть до размещения глаз по поверхности кожи роботов.

Источник изображения: Craig Chandler, University of Nebraska–Lincoln

Главной проблемой при создании адаптивного материала на основе гидрогеля и силикона стало отторжение одного от другого. Разработки долго не могли найти способ прочно привязать гидрогель к силиконовой основе. Физикам пришлось звать на помощь химиков. Междисциплинарная команда учёных смогла подобрать рецепт для правильного смешения ингредиентов и условий полимеризации, чтобы полимерные цепочки гидрогеля стали продолжением полимерных цепочек силикона, для чего подошли определенные соединения лития и последующая обработка ультрафиолетом.

На основе нового материала были созданы массивы микролинз, подобно фасеточным глазам насекомых. Способность материала линз менять свои свойства оказалась удобной для реализации системы фокусировки. Что интересно, в процессе фокусировки линзы практически не меняли свою форму. Изменение фокусного расстояния происходило в процессе изменения плотности линз, что меняло угол преломления света. Добиться же изменения плотности материала гидрогелевых линз оказалось достаточно просто — для этого их нагрели до температуры около 80 °C с помощью жидкости, проходящей через капилляры в линзах.

На выходе учёные получили массивы микролинз с регулируемой фокусировкой на гибкой подложке. Такими массивами можно будет покрывать кожу мягких роботов, чтобы помочь им ориентироваться в пространстве без сложной системы бинокулярного зрения. Роботам не придётся вертеть головой. Они будут видеть кожей на 360°. Автомобилям с автопилотом это тоже пригодится, чтобы лучше воспринимать дорожную обстановку.

Но и это не всё. Подобный адаптируемый материал можно будет использовать в биологии для культивирования множества видов живых тканей. Тем более, что гидрогелевая основа сегодня является базовой для подобных работ. Наконец, в перспективе можно будет создавать предметы на вырост, которые росли бы и меняли свою форму вместе с ростом их владельцев. Этому может быть множество применений, многие из которых пока даже не приходят на ум. Но это увлекательное будущее, уверены изобретатели.

Автопилоты и другая роботизированная техника учится лучше и глубже оценивать дорожную обстановку, чем водитель-человек. В это ей помогают также технологии обнаружения объектов вне прямой видимости. Однако из множества технологий визуализации объектов «за углом» до сих пор не было способа получить картинку в высоком разрешении. Учёные из Калифорнийского технологического института заполнили этот пробел, предложив новую технологию UNCOVER.

Источник изображения: Caltech

Традиционно «за угол» можно заглянуть, если проанализировать в зоне прямой видимости свет, отражённый от других объектов, например, от стен. Поскольку свет от таких объектов рассеивается, более-менее цельное изображение можно собрать с помощью ИИ-алгоритмов. Но если рядом с искомой целью есть точечный источник света — guidestar (путеводная звезда), то скрытый объект можно рассмотреть намного детальнее.

Свет от точечного источника позволяет вычислить волновые фронты отражённого от стен света и использовать эту информацию для расчёта светового потока от наблюдаемого скрытого объекта. Проблема в том, что в обычной дорожной обстановке подсветить скрытые объекты никак невозможно. В противном случае каждому пешеходу и каждой машине на улице пришлось бы придать свою собственную «путеводную звезду».

Технология UNCOVER позволяет использовать как guidestar сам скрытый объект. В эксперименте учёные показали возможность различить находящиеся вне зоны прямой видимости сложные символы в виде звёздочки, геометрических фигур и букв. Предложенная технология, уверены учёные, поможет улучшить автопилоты на улицах городов и роверов на далёких планетах. Марсоходу не нужно будет пробираться по труднопреодолимым преградам, чтобы осмотреть скрытые за ними объекты. Если вокруг светло, он получит картинку даже за линией прямой видимости.

Правительство Великобритании обратилось к закону о национальной безопасности, чтобы заблокировать сделку, которая позволила бы китайской компании Beijing Infinite Vision Technology лицензировать технологию машинного зрения, разработанную в Манчестерском университете.

Источник изображения: Gerd Altmann / pixabay.com

Китайская компания, которая позиционирует себя как передового разработчика технологий 3D-рендеринга и архитектурной визуализации, запросила у Манчестерского университета лицензию на решения SCAMP-5 и SCAMP-7. Лежащая в их основе технология предназначена для «тесной интеграции нового сенсорного и вычислительного оборудования с алгоритмами зрения, навигации и управления для обеспечения автономных роботов нового поколения». Сделку заблокировал министр предпринимательства, энергетики и промышленной стратегии Великобритании Квази Квартенг (Kwasi Kwarteng).

В январе в силу вступил британский Закон о национальной безопасности и инвестициях, который позволяет правительству страны отменять или ограничивать сделки по соображениям национальной безопасности — недавно он использовался для приостановки сделки по продаже валлийского завода Newport Wafer Fab нидерландской компании Nexperia, которой владеют китайцы.

Разработчики технологии для SCAMP-5 и SCAMP-7 пояснили, что в её основе лежит чип, производящий предварительную обработку изображений — он транслирует алгоритмам машинного зрения только необходимые данные. Чип также замеряет «время пролёта» по каждому пикселю, что ускоряет построение карт в реальном времени. Как решили (PDF) в британском правительстве, «существует вероятность, что технологию смогут использовать для создания оборонных или технологических инструментов, способных представлять угрозу национальной безопасности Соединённого Королевства».

Авторы проекта говорят, что разработанная ими технология сможет использоваться в самых разных сферах от игрушек и прочих потребительских товаров до военных систем — особенно для разведывательных и спасательных операций. В Манчестерском университете уже заявили о готовности подчиниться решению правительства.