Амнон Шашуа (Amnon Shashua) известен как основатель стартапа машинного зрения Mobileye и компании по изучению искусственного интеллекта AI21 Labs. В 2022 году, опираясь на полученный в этих сферах опыт, он создал Mentee Robotics —стартап в области робототехники. Сегодня компания представила гуманоидного робота Menteebot, главными преимуществами которого создатель называет продвинутое машинное зрение и обучающийся генеративный ИИ.

Источник изображений: Mentee Robotics

«Мы находимся на пороге сближения компьютерного зрения, понимания естественного языка, мощных и детальных симуляторов, а также методологий перехода от моделирования к реальному миру, — заявил Шашуа. — В Mentee Robotics мы рассматриваем эту конвергенцию как отправную точку для разработки будущего универсального двуногого робота, который сможет передвигаться повсюду (как человек) с помощью мозга, выполняя работу по дому и осваивая новые навыки, которым он ранее не был обучен».

Представленный робот во многом является прототипом, хотя его создатели считают, что добились достаточного прогресса, чтобы оправдать публичный дебют после двух лет напряжённой работы. Творческий и инженерный состав Mentee Robotics впечатляет. Помимо Шашуа, в команду основателей входят бывший директор Facebook✴ по исследованиям ИИ Лиор Вольф (Lior Wolf) и профессор Еврейского университета в Иерусалиме Шай Шалев-Шварц (Shai Shalev-Shwartz). Эта команда при содействии венчурной фирмы Ahren Innovation Capital помогла привлечь инвестиции в размере $17 млн.

«Большие языковые модели используются для интерпретации команд и “продумывания” необходимых шагов для выполнения задачи. Особое внимание уделяется способности сочетать передвижение и ловкость, то есть динамическое балансирование робота при переносе тяжестей или движении манипуляторов», — говорится в пресс-релизе компании.

Mentee Robotics утверждает, что новый робот адаптирован как для промышленного, так и для потребительского рынков, в отличие от конкурирующих моделей. Компания рассчитывает выпустить готовый к производству прототип к началу 2025 года.

Основатель и владелец компании Neuralink Илон Маск (Elon Musk) анонсировал следующий продукт Neuralink — Blindsight (дословно — «Слепое зрение»). Это устройство предназначено для восстановления зрения. Ещё несколько лет назад Илон Маск заявил, что Neuralink сможет вернуть зрение слепым людям. Теперь, после успешной демонстрации игры в шахматы при помощи мозгового импланта, исполнение обещаний Маска кажется делом недалёкого будущего.

Источник изображения: Computerra

«Первое применение, к которому мы собираемся стремиться у людей, — это восстановление зрения, и даже если у кого-то никогда не было зрения, как если бы он родился слепым, мы верим, что все равно можем восстановить зрение. Зрительная часть коры все ещё существует. Даже если они никогда раньше не видели, мы уверены, что они смогут увидеть», — заявил Маск на Neuralink Show & Tell в 2022 году.

«Вы хотите иметь возможность читать сигналы мозга. Вы хотите иметь возможность записывать сигналы. В конечном итоге вы хотите иметь возможность сделать это для всего мозга, а затем распространить это на остальную часть вашей нервной системы, если у вас повреждён спинной мозг или шея», — добавил он.

В ноябре 2023 года Илон Маск сообщил, что Neuralink работает над чипом машинного зрения, но на его подготовку уйдёт несколько лет. В то время компания была сосредоточена на получении одобрения регулирующих органов на свои первые испытания на людях. 20 марта 2024 года Маск в своём аккаунте социальной сети X опубликовал короткое сообщение о следующем продукте компании.

Источник изображения: Twitter

Позже Маск добавил, что имплант Blindsight уже тестируется на обезьянах. «Поначалу разрешение [искусственного зрения] будет низким, как в ранней графике Nintendo, но в конечном итоге может превысить нормальное человеческое зрение», — написал Маск в X и добавил, что ни одна обезьяна не погибла и не получила серьезных травм от устройства Neuralink.

В январе этого года первый парализованный доброволец перенёс операцию по установке в черепную коробку импланта Neuralink, который позволил ему научиться управлять курсором на ноутбуке буквально при помощи мысли. Компания на этой неделе опубликовала видео, демонстрирующие обретённые после этой операции добровольцем новые физические возможности.

Европейские учёные предложили адаптировать популярные ИИ-алгоритмы систем машинного зрения для анализа сделанных при помощи радаров снимков околоземного пространства и обнаружения на них миниатюрных частиц космического мусора.

Источник изображения: nasa.gov

Исследователи провели эксперимент, применив существующие нейросети, используемые в системах машинного зрения, для анализа данных с европейского радара TIRA — это 47-метровая радиотарелка, которая помогает наблюдать за околоземным пространством и получать изображения, на которых производится поиск космического мусора.

Авторы проекта попытались заменить стандартные алгоритмы анализа данных TIRA нейросетями семейства YOLO, которые применяются для поиска движущихся объектов на снимках. Версии нейросетей YOLOv5 и YOLOv8 обучили при помощи массива из 3000 снимков околоземного пространства и проверили их эффективность на примере 600 изображений с радаров, на которых были от одного до трёх частиц космического мусора.

Обе нейросети корректно обнаружили от 85 % до 97 % частиц размером от сантиметра при минимальном числе ложных срабатываний. Результат оказался выше того, что демонстрирует стандартный алгоритм TIRA. Учёные сделали вывод, что системы машинного зрения могут успешно применяться для поиска космического мусора в околоземном пространстве и для его отслеживания в реальном времени. Это поможет снизить число инцидентов, связанных с попаданием частиц космического мусора в работающие орбитальные аппараты.

По оценкам экспертов, на орбите Земли могут находиться более 170 млн частиц космического мусора.

Учёные из китайского университета Цинхуа разработали полностью аналоговый фотоэлектронный чип ACCEL, который обещает совершить революцию в задачах высокоскоростного машинного зрения. Чип, сочетающий электронные и оптические технологии, способен продемонстрировать беспрецедентную энергоэффективность и высочайшую скорость вычислений для задач машинного зрения. В этой сфере новый чип радикально превосходит современные графические процессоры.

Источник изображения: Pixabay

Традиционные процессоры обладают ограниченной скоростью вычислений и потребляют колоссальное количество энергии при решении задач машинного зрения, таких как распознавание изображений для автономного вождения, робототехники и медицинской диагностики. Эти задачи требуют обработки изображений с высоким разрешением, точной классификации и сверхнизкой задержки.

Чип ACCEL реализует преимущества развивающейся области фотонных вычислений, которые используют свет для обработки информации. Интегрируя дифракционные оптические аналоговые вычисления (OAC) и электронные аналоговые вычисления (EAC) в одном чипе, ACCEL достигает замечательной энергоэффективности и скорости вычислений.

Метод OAC использует управление световыми волнами посредством дифракции для кодирования и обработки информации. При помощи интерференционных паттернов, создаваемых светом, вычисления производятся аналоговым способом, обрабатывая данные непрерывно, а не дискретными цифровыми шагами. Метод EAC использует электронные компоненты для манипулирования непрерывными физическими величинами. Вместо работы с цифровыми сигналами в виде нулей и единиц, EAC использует постоянно меняющиеся аналоговые сигналы.

Архитектура ACCEL / Источник изображения: Tsinghua University

Оба метода дают преимущества для определённых видов вычислений и способствуют разработке задач высокоскоростного зрения.

ACCEL при обработке изображений не требует АЦП для преобразования изображения, напрямую используя для вычислений фототоки, индуцированные светом, что приводит к значительному сокращению задержек. ACCEL достигает системной энергоэффективности 74,8 пета-операций в секунду на ватт, что более чем на три порядка выше, чем у современных графических процессоров. Скорость вычислений достигает 4,6 пета-операций в секунду, при этом более 99 % вычислений выполняются оптически.

Благодаря интеграции оптоэлектронных вычислений и адаптивного обучения ACCEL достигает конкурентоспособной точности классификации объектов в различных задачах. Новый чип продемонстрировал точность 85,5 %, 82,0 % и 92,6 % для задач Fashion-MNIST, 3-классовой классификации ImageNet и задач распознавания покадрового видео соответственно. Примечательно, что ACCEL демонстрирует высокую надёжность даже в условиях низкой освещённости, что делает его пригодным для портативных устройств, автономного вождения и промышленных применения.

Сравнение скорости и энергоэффективности ACCEL с традиционными методами / Источник изображения: Tsinghua University

Сверхнизкое энергопотребление нового чипа значительно снижает тепловыделение, открывая путь дальнейшему совершенствованию и миниатюризации. В отличие от традиционных оптоэлектронных цифровых вычислительных систем, ACCEL гибко сочетает дифракционные оптические вычисления и электронные аналоговые вычисления, а его архитектура обеспечивает масштабируемость, нелинейность и высокую адаптируемость.

В исследовании, опубликованном в журнале Nature, исследователи заявили: «Разработка вычислительной системы, основанной на совершенно новом принципе, является огромной задачей. Однако ещё более важно успешно реализовать эту вычислительную архитектуру следующего поколения в реальные приложения, отвечающие важнейшим потребностям общества».

В рецензии на исследование, опубликованной в журнале Nature's Research Briefing, эксперты высказали убеждение, что «ACCEL может позволить этим архитектурам сыграть роль в нашей повседневной жизни гораздо раньше, чем ожидалось».

Всё новое — это, несомненно, хорошо забытое старое. Самым первым аналоговым вычислительным устройством является хорошо знакомая старшему поколению логарифмическая линейка.

Источник изображения: myruler.ru

Другим известным примером аналоговых вычислительных устройств является настольная аналоговая вычислительная машина МН-7, разработанная в далёком 1955 году. Она успешно решала обыкновенные дифференциальные уравнения до 6-го порядка. Не менее успешно при помощи подобных машин создавались математические модели физических процессов, что использовалось при решении задач АСУ ТП.

Источник изображения: computerra.ru

В аналоговой вычислительной машине (АВМ) мгновенному значению исходной переменной величины ставится в соответствие мгновенное значение другой величины, часто отличающейся от исходной физической природой и масштабным коэффициентом. Каждой элементарной математической операции, как правило, соответствует физический закон, устанавливающий математические зависимости между физическими величинами на выходе и входе (например, закон Ома).

Особенности представления исходных величин и построения алгоритмов предопределяют большую скорость работы АВМ и простоту программирования, но ограничивают область применения и точность получаемого результата. АВМ отличается малой универсальностью (алгоритмическая ограниченность) — при решении задач другого класса необходимо перестраивать структуру машины и число решающих элементов.

А теперь мы становимся свидетелями того, как в мире, казалось бы, победивших цифровых технологий, вновь начинают находить применение аналоговые вычисления, вышедшие на новый уровень развития.

В погоне за здоровым зрением и крепким сном маркетологи, врачи и пациенты бросились рекламировать, прописывать и носить очки с блокирующими синий свет стёклами. Группа учёных из Австралии и Великобритании взялась оценить эту практику на основе свежих научных работ. Оказалось, что нет достоверных данных о пользе синих фильтров для глаз, здоровья и сна пациентов.

Источник изображения: Pixabay

Исследователи из Университета Мельбурна совместно с коллегами из Университета Монаша и Лондонского городского университета подвергли анализу 17 опубликованных исследований из 6 стран, посвящённых использованию очков, блокирующих синий свет. Рандомизированные контролируемые исследования включали от 5 до 156 участников и проводились в течение периода времени от одного дня до пяти недель.

В результате проведенной работы учёные пришли к выводу, что очки, блокирующие синий свет, могут не соответствовать заявлениям рекламодателей и кабинетов оптометрии. Как следствие учёные призывают специалистов и потребителей дважды подумать о выборе очков с фильтрующими стёклами. Как минимум, это будут выброшенные деньги. В опубликованных данных исследователи не нашли убедительных данных о влиянии фильтров синего света в очках на общее состояние глаз, качество сна или зрительную работоспособность.

«Результаты нашего обзора, основанного на современных, наиболее достоверных данных, показывают, что доказательства этих утверждений [о пользе фильтров синего света] неубедительны и неопределенны, — рассказала ведущий автор исследования Лаура Дауни (Laura Downie). — Наши результаты не поддерживают назначение фильтрующих синий свет линз населению в целом. Эти результаты важны для широкого круга заинтересованных сторон, включая специалистов по офтальмологии, пациентов, исследователей и общественность».

Вероятно, для более детального изучения вопроса необходимо провести более длительное и более глубокое исследование, но даже имеющихся данных достаточно, чтобы воспринимать идею фильтрации синего света сомнительной.

«Количество синего света, получаемого нашими глазами от искусственных источников, таких как экраны компьютеров, составляет примерно тысячную долю от того, что мы получаем от естественного дневного света, — поясняют авторы. — Следует также иметь в виду, что линзы, фильтрующие синий свет, обычно отфильтровывают около 10–25 % синего света, в зависимости от конкретного продукта. Для фильтрации большего количества синего света линзы должны иметь явный янтарный оттенок, что существенно повлияет на восприятие цвета».

Отечественный оператор кикшеринга и разработчик решений для средств индивидуальной мобильности Whoosh сообщил о запуске пилотной программы по тестированию электросамокатов с большим информационным дисплеем и модулем компьютерного зрения.

Источник изображения: Eduardo Alvarado / unsplash.com

Новые технологии испытают на новых электросамокатах Ninebot — программа будет запущена в этом году в Москве. Дашборд, то есть экран, будет устанавливаться на руле самоката и заменит смартфон. Информация на износостойком и влагоустойчивом дисплее будет оставаться видимой в любых погодных условиях: маршрут и навигационные данные поездки, помощь по эксплуатации и парковке самоката.

Технологии компьютерного зрения нужны для анализа работы кикшеринга. Система будет собирать обезличенные данные о поездках, различные сценарии реакций на внешние условия, а также статистику о поездках, включая наиболее популярные маршруты и информацию о дорожном покрытии. Самокат предупредит о необходимости снизить скорость или спешиться, если пользователь приближается к пешеходному переходу, а также даст советы по приоритетным маршрутам.

«Эти разработки — ещё один большой шаг в развитии микромобильного транспорта, который поможет нам лучше понимать пользователя и работать с безопасностью поездок, комфортом использования сервиса. Мы запускаем пилотную эксплуатацию на базе самой современной модели самоката, чтобы проанализировать, как технологии покажут себя в разных городских условиях», — прокомментировал инициативу основатель и генеральный директор Whoosh Дмитрий Чуйко.

Исследователи ИИ компании Meta✴ сегодня объявили о нескольких ключевых разработках, связанных с адаптивной координацией навыков и репликацией зрительной коры, которые позволят роботам с ИИ автономно функционировать в реальном мире. Эти разработки являются крупным шагом вперёд в создании универсального «воплощённого ИИ», способного взаимодействовать с реальным миром без вмешательства человека.

Источник изображений: Meta✴ AI

Зрительная кора — область мозга, которая позволяет организмам использовать зрение для совершения действий. Таким образом, искусственная зрительная кора является ключевым требованием для любого робота, которому необходимо выполнять задачи на основе того, что он видит перед собой. Искусственная зрительная кора VC-1 обучена на наборе данных Ego4D, который содержит тысячи часов видео с носимых камер участников исследования по всему миру, выполняющих повседневные действия, такие как приготовление пищи, уборка, спорт и ремесла.

Однако зрительная кора — это лишь один из элементов воплощённого ИИ. Чтобы робот мог работать полностью автономно в реальном мире, он должен быть способен манипулировать объектами реального мира — перемещаться к объекту, поднимать его, переносить в другое место и размещать объект — и делать все это на основе того, что он видит и слышит.

Чтобы решить эту проблему, эксперты по ИИ Meta✴ в сотрудничестве с исследователями из Технологического института Джорджии разработали новую технологию ASC (Adaptive Skill Coordination — Адаптивная координация навыков), где обучение происходит в симуляциях, а затем эти навыки передаются реальному роботу. Meta✴ продемонстрировала эффективность ASC в сотрудничестве с Boston Dynamics. ASC была интегрирована с робопсом Spot, который обладает надёжными возможностями распознавания, навигации и манипулирования, хотя и требует значительного вмешательства человека.

Исследователи ставили перед собой цель создать модель ИИ, которая сможет воспринимать мир с помощью бортовых датчиков через API Boston Dynamics. Сначала ASC была обучена в симуляторе Habitat с использованием наборов данных HM3D и ReplicaCAD, содержащих 3D-модели более тысячи домов. Затем виртуального робота Spot научили передвигаться по незнакомому дому, подбирать предметы, переносить их и класть в нужное место. Позже эти знания были переданы реальным роботам Spot, которые автоматически выполняли те же задачи, основываясь на полученном представлении о помещениях.

«Мы использовали две совершенно разные среды реального мира, в которых Spot попросили переставить различные объекты — полностью меблированную квартиру площадью 185 м² и университетскую лабораторию площадью 65 м². — Сообщают исследователи. — ASC добилась почти идеальной производительности, преуспев в 59 из 60 эпизодов, преодолев аппаратные нестабильности, сбои выбора и состязательные помехи, такие как движущиеся препятствия или заблокированные пути».

Исследователи Meta✴ сегодня открывают исходный код модели VC-1, делясь подробными сведениями о масштабировании модели и размерах наборов данных. Следующей целью команды будет попытка интегрировать VC-1 с ASC, чтобы создать единую систему, которая станет ближе к истинному воплощённому ИИ.

Хотя у роботов большое будущее, пока их механические руки не очень хорошо справляются на складах с обработкой отдельных заказов, маркированных штрих-кодами. Последние может быть трудно обнаружить и прочитать, особенно на товарах нестандартной формы. Новая система, предложенная Amazon, позволит избавиться от штрих-кодов полностью — поможет в этом компьютерное зрение.

Источник изображения: Maximalfocus/unsplash.com

Фотографии товаров, снятые на складах Amazon, и тренировка на них компьютерного зрения, позволили техногиганту разработать систему камер, способную точно распознавать товары на конвейерной ленте. В конце концов эксперты Amazon по ИИ и робототехнике намерены интегрировать разработку в роботов, которые смогут узнавать товары в процессе упаковки для последующей отправки.

По словам представителя разработчиков Amazon, без поиска штрих-кодов роботы смогут намного быстрее упаковывать товары для отправки покупателям. Система, названная мультимодальной идентификацией, полностью заменит штрих-коды ещё нескоро, но уже сейчас она применяется на объектах компании в Барселоне и Гамбурге. При этом в компании заявляют, что система уже позволяет ускорить время обработки заказов. Ожидается, что технология будет внедряться в самых разных проектах компании, включая розничную торговлю.

Эксперты Amazon в области искусственного интеллекта уже начали формировать библиотеку изображений продуктов — до начала реализации данного проекта такой необходимости не было. Сами изображения, как и данные о размерах предметов, обрабатываются первыми версиями алгоритмов, а камеры последовательно делают всё новые снимки для тренировки ИИ-модели компании.

Когда алгоритм начал впервые использоваться, его точность составляла 75-80 %, сейчас в компании заявляют, что она достигла 99 %. Изначально у системы были некоторые проблемы с распознаванием цветов, но после доработки её точность заметно повысилась. Хотя отправка не тех товаров, что были заказаны, происходит, по данным Amazon, довольно редко, даже такие ошибки в масштабах такой огромной компании, как Amazon, способны принести немало неприятностей.

В ИИ-команде Amazon заявляют, что будет сложнее настроить систему мультимодальной идентификации для товаров, обрабатываемых людьми, поэтому конечной целью является доработка технологий до того уровня, на котором будет возможно использование вместо них роботов.

Созданная в 2021 году компания Science анонсировала свой первый продукт, который со временем начнёт возвращать зрение пациентам с рядом фатальных заболеваний глаз. Разработанный в компании электронный блок с microLED экраном будет встраиваться прямо в глазное яблоко, что позволит страдающим слепотой пациентам возвращать зрение сначала частично, а в перспективе всё полнее и полнее.

Источник изображений:Science

Существует множество причин для потери зрения. Предложенное компанией Science решение облегчит жизнь пациентам с такими болезнями, как пигментный ретинит (RP) и сухая возрастная дегенерация жёлтого пятна (AMD). В обоих случаях зрение теряется по причине деградации фоторецепторов в глазах людей, хотя нервные окончания и зрительные нервы остаются в полном порядке. Имплантат Science Eye способен возбуждать эти нервные окончания — так называемые ганглионарные клетки — и передавать в мозг путь сильно упрощённые, но зрительные сигналы.

В каждом глазу человека примерно по 100 млн клеток фоторецепторов. Нервных окончаний, которые передают весь этот массив информации, всего по 1 млн на глаз. Нетрудно понять, насколько будет упрощена передаваемая в мозг нервная информация, основанная на возбуждении всего одного миллиона нервных окончаний. Но это будет определённо лучше полной слепоты и, в перспективе, учёные научатся передавать зрительные данные в более полном объёме.

Созданный в Science имплантат представляет собой электронный блок с процессором и блоком питания, который вживляется под веко на верхнюю поверхность глазного яблока, и экран microLED, который заводится внутрь глаза и устанавливается напротив нервных окончаний в его сетчатке. И это была самая лёгкая часть. Операция займёт около двух часов и может быть сокращена до одного часа после отработки технологии.

Имплантат с экраном шириной 2 мм

Самое сложное, точнее — самое труднопреодолимое препятствие будет заключаться в том, чтобы наделить нервные окончания глаза световой чувствительностью. Проделать это можно с помощью генной терапии. Учёные давно работают с флуоресцентными белками, которые могут светиться и воспринимать фотоны. Чтобы Science Eye работал, в нервные окончания глазного нерва необходимо будет ввести инородные для человека гены. Нетрудно представить, что эта необходимость вызовет бурную дискуссию как в научном сообществе, так и среди обычных людей.

В компании предупреждают, что получаемое с помощью Science Eye и генной терапии зрение будет совсем не таким, как мы его обычно воспринимаем. Однако это реальный шанс вернуть потерявшему зрение человеку возможность самостоятельно и лучше ориентироваться в пространстве. Впрочем, до этого пройдут годы работы по улучшению технологии. Сегодня она испытывается на кроликах и до работы с людьми ещё довольно долго.

Очки для обеспечения работы имплантата

Добавим, компанию Science создал бывший соратник Илона Маска — Макс Ходак (Max Hodak). До 2021 года он возглавлял компанию Маска Neuralink, которая разрабатывает мозговой имплантат. Весной 2021 года он покинул Neuralink и создал свой стартап Science, который к сегодняшнему дню привлёк финансирование в объёме около $160 млн. Имплантат Science Eye назван флагманским продуктом Science. Будет интересно узнать, что ещё есть в её портфеле разработок.

Автопилоты и другая роботизированная техника учится лучше и глубже оценивать дорожную обстановку, чем водитель-человек. В это ей помогают также технологии обнаружения объектов вне прямой видимости. Однако из множества технологий визуализации объектов «за углом» до сих пор не было способа получить картинку в высоком разрешении. Учёные из Калифорнийского технологического института заполнили этот пробел, предложив новую технологию UNCOVER.

Источник изображения: Caltech

Традиционно «за угол» можно заглянуть, если проанализировать в зоне прямой видимости свет, отражённый от других объектов, например, от стен. Поскольку свет от таких объектов рассеивается, более-менее цельное изображение можно собрать с помощью ИИ-алгоритмов. Но если рядом с искомой целью есть точечный источник света — guidestar (путеводная звезда), то скрытый объект можно рассмотреть намного детальнее.

Свет от точечного источника позволяет вычислить волновые фронты отражённого от стен света и использовать эту информацию для расчёта светового потока от наблюдаемого скрытого объекта. Проблема в том, что в обычной дорожной обстановке подсветить скрытые объекты никак невозможно. В противном случае каждому пешеходу и каждой машине на улице пришлось бы придать свою собственную «путеводную звезду».

Технология UNCOVER позволяет использовать как guidestar сам скрытый объект. В эксперименте учёные показали возможность различить находящиеся вне зоны прямой видимости сложные символы в виде звёздочки, геометрических фигур и букв. Предложенная технология, уверены учёные, поможет улучшить автопилоты на улицах городов и роверов на далёких планетах. Марсоходу не нужно будет пробираться по труднопреодолимым преградам, чтобы осмотреть скрытые за ними объекты. Если вокруг светло, он получит картинку даже за линией прямой видимости.