Учёные лаборатории исследований искусственного интеллекта T-Bank AI Research представили на Международной конференции по обработке изображений (IEEE ICIP) в Абу-Даби новый метод под названием SDDE (Saliency-Diversified Deep Ensembles), который позволяет значительно повысить точность распознавания объектов на изображениях с помощью ИИ.

Источник изображения: BrianPenny/Pixabay

Новое решение, в разработке которого также участвовали студенты МИСИС и МФТИ, позволяет примерно на 20 % снизить риск ошибки при обработке и анализе изображений, пишет Forbes.

При распознавании объектов используются методы машинного обучения, повышающие его эффективность. В частности, применяются глубокие ансамбли, когда в процессе распознавания используется несколько нейронных сетей. При методе SDDE используются карты внимания, фокусирующиеся на разных аспектах данных, что позволяет моделям анализировать изображение под разными ракурсами, помогая получить более полную информацию и повысить общую точность анализа. Благодаря этому идентификация объектов становится более надёжной и диверсифицированной, отметили в T-Bank AI Research. По мнению исследователей, новый метод будет востребован в сфере беспилотных транспортных средств и медицинской диагностики.

Также ИИ-модель научили учитывать при анализе изображение не только наборы данных, которые использовались при её обучении, но и незнакомую ей информацию. Это расширило возможности модели при идентификации неизвестных ей объектов. Как отметил младший научный сотрудник группы «ИИ в промышленности» Института AIRI Максим Голядкин, нейросети зачастую не распознают, когда сталкиваются с незнакомыми входными данными, поэтому это решение очень важно. «Вместо того, чтобы признать неопределённость, они могут уверенно выдавать неправильные прогнозы подобно тому, как некоторые языковые модели могут предоставлять вводящую в заблуждение информацию, известную как “галлюцинации”, — говорит эксперт. — Разнообразив фокус каждой модели, ансамбль становится лучше в распознавании тех входных данных, с которыми он ранее не сталкивался».

Мировой рынок компьютерного зрения стремительно растёт с прогнозируемым увеличением с $25,8 млрд в 2024 до $47 млрд к 2030 году, подсчитали в Statista. В частности, в сфере здравоохранении объём рынка вырастет с $986 млн в 2022 году до $31 млрд в 2031 году с прогнозируемым ростом на 47 % в год, утверждают в Straits Research.

В России рынок в этом году вырастет до более чем $600 млн и далее по 10,5 % в среднем в год до 2030-го, когда он превысит $1,1 млрд, прогнозируют в Statista.

Учёные из США приблизились к созданию уникальных очков ночного видения, которые были бы не только компактными и лёгкими, но также обладали бы эффектом памяти на образы. Это позволило бы обеспечить предварительную обработку изображений нейронными сетями прямо на стёклах очков, без их загрузки в процессор. Но даже без ИИ новая разработка демонстрирует, насколько OLED-очки ночного видения могут оказаться легче современных аналогов.

Источник изображения: Marcin Szczepanski, Michigan Engineering

Проект частично финансируется DARPA (Управление перспективных исследовательских проектов Министерства обороны США) и в данный момент ведётся учёными из Университета Мичигана. Как известно, современные приборы ночного видения (очками их можно назвать с очень большой натяжкой) представляют собой устройства с вакуумными приборами и люминофором, которые со значительными затратами энергии преобразуют ближний инфракрасный свет в электроны и, после усиления, создают монохромную картинку на светящемся покрытии.

Учёные из США создали новый тип OLED (органических светодиодов), который реагирует на электроны и возбуждает фотоны видимого света. Представленный ими датчик и преобразователь ближнего инфракрасного излучения в видимое тоньше человеческого волоса — его толщин составляет менее 1 мкм. Он состоит из пяти слоёв и, в идеале, каждый попавший на него электрон превращает в пять фотонов.

Первый слой датчика возбуждает электроны от попадания фотонов ближнего инфракрасного света. Затем электрон пролетает пять слоёв OLED-плёнки. Глаза человека может достичь только один образовавшийся фотон видимого света, тогда как другие фотоны снова возбуждают электроны в первом слое и, таким образом, создают эффект усиления с положительной обратной связью без обычных громоздких и высоковольтных устройство по усилению электронного потока.

Экспериментальное устройство обладает скромным усилением всего в 100 раз. Современные приборы ночного видения способны усиливать сигнал до 10 тыс. раз. Учёные говорят, что конструкцию OLED-датчика можно дальше оптимизировать, добиваясь большего усиления и, соответственно, более высокой чувствительности к инфракрасному свету. Но даже сейчас лёгкость и компактность новой конструкции очков с точки зрения эффективности и экономности питания позволяет многократно превзойти коммерческие приборы ночного видения.

Что касается сопутствующего эффекта памяти OLED-очков, то он в определённом смысле будет помехой ночному зрению. Тем не менее, учёные уже нашли ему применение в виде нейросетей для распознавания образов на уровне стёкол без загрузки в процессор. Это определённо может пригодиться для систем машинного зрения, но впереди ещё много работы, хотя исследователи говорят, что запустить разработку в производство труда не составит — они взяли готовые технологии и просто нашли их удачное сочетание.

Отечественный оператор кикшеринга и разработчик решений для средств индивидуальной мобильности Whoosh сообщил о запуске пилотной программы по тестированию электросамокатов с большим информационным дисплеем и модулем компьютерного зрения.

Источник изображения: Eduardo Alvarado / unsplash.com

Новые технологии испытают на новых электросамокатах Ninebot — программа будет запущена в этом году в Москве. Дашборд, то есть экран, будет устанавливаться на руле самоката и заменит смартфон. Информация на износостойком и влагоустойчивом дисплее будет оставаться видимой в любых погодных условиях: маршрут и навигационные данные поездки, помощь по эксплуатации и парковке самоката.

Технологии компьютерного зрения нужны для анализа работы кикшеринга. Система будет собирать обезличенные данные о поездках, различные сценарии реакций на внешние условия, а также статистику о поездках, включая наиболее популярные маршруты и информацию о дорожном покрытии. Самокат предупредит о необходимости снизить скорость или спешиться, если пользователь приближается к пешеходному переходу, а также даст советы по приоритетным маршрутам.

«Эти разработки — ещё один большой шаг в развитии микромобильного транспорта, который поможет нам лучше понимать пользователя и работать с безопасностью поездок, комфортом использования сервиса. Мы запускаем пилотную эксплуатацию на базе самой современной модели самоката, чтобы проанализировать, как технологии покажут себя в разных городских условиях», — прокомментировал инициативу основатель и генеральный директор Whoosh Дмитрий Чуйко.

Исследователи ИИ компании Meta✴ сегодня объявили о нескольких ключевых разработках, связанных с адаптивной координацией навыков и репликацией зрительной коры, которые позволят роботам с ИИ автономно функционировать в реальном мире. Эти разработки являются крупным шагом вперёд в создании универсального «воплощённого ИИ», способного взаимодействовать с реальным миром без вмешательства человека.

Источник изображений: Meta✴ AI

Зрительная кора — область мозга, которая позволяет организмам использовать зрение для совершения действий. Таким образом, искусственная зрительная кора является ключевым требованием для любого робота, которому необходимо выполнять задачи на основе того, что он видит перед собой. Искусственная зрительная кора VC-1 обучена на наборе данных Ego4D, который содержит тысячи часов видео с носимых камер участников исследования по всему миру, выполняющих повседневные действия, такие как приготовление пищи, уборка, спорт и ремесла.

Однако зрительная кора — это лишь один из элементов воплощённого ИИ. Чтобы робот мог работать полностью автономно в реальном мире, он должен быть способен манипулировать объектами реального мира — перемещаться к объекту, поднимать его, переносить в другое место и размещать объект — и делать все это на основе того, что он видит и слышит.

Чтобы решить эту проблему, эксперты по ИИ Meta✴ в сотрудничестве с исследователями из Технологического института Джорджии разработали новую технологию ASC (Adaptive Skill Coordination — Адаптивная координация навыков), где обучение происходит в симуляциях, а затем эти навыки передаются реальному роботу. Meta✴ продемонстрировала эффективность ASC в сотрудничестве с Boston Dynamics. ASC была интегрирована с робопсом Spot, который обладает надёжными возможностями распознавания, навигации и манипулирования, хотя и требует значительного вмешательства человека.

Исследователи ставили перед собой цель создать модель ИИ, которая сможет воспринимать мир с помощью бортовых датчиков через API Boston Dynamics. Сначала ASC была обучена в симуляторе Habitat с использованием наборов данных HM3D и ReplicaCAD, содержащих 3D-модели более тысячи домов. Затем виртуального робота Spot научили передвигаться по незнакомому дому, подбирать предметы, переносить их и класть в нужное место. Позже эти знания были переданы реальным роботам Spot, которые автоматически выполняли те же задачи, основываясь на полученном представлении о помещениях.

«Мы использовали две совершенно разные среды реального мира, в которых Spot попросили переставить различные объекты — полностью меблированную квартиру площадью 185 м² и университетскую лабораторию площадью 65 м². — Сообщают исследователи. — ASC добилась почти идеальной производительности, преуспев в 59 из 60 эпизодов, преодолев аппаратные нестабильности, сбои выбора и состязательные помехи, такие как движущиеся препятствия или заблокированные пути».

Исследователи Meta✴ сегодня открывают исходный код модели VC-1, делясь подробными сведениями о масштабировании модели и размерах наборов данных. Следующей целью команды будет попытка интегрировать VC-1 с ASC, чтобы создать единую систему, которая станет ближе к истинному воплощённому ИИ.

Хотя у роботов большое будущее, пока их механические руки не очень хорошо справляются на складах с обработкой отдельных заказов, маркированных штрих-кодами. Последние может быть трудно обнаружить и прочитать, особенно на товарах нестандартной формы. Новая система, предложенная Amazon, позволит избавиться от штрих-кодов полностью — поможет в этом компьютерное зрение.

Источник изображения: Maximalfocus/unsplash.com

Фотографии товаров, снятые на складах Amazon, и тренировка на них компьютерного зрения, позволили техногиганту разработать систему камер, способную точно распознавать товары на конвейерной ленте. В конце концов эксперты Amazon по ИИ и робототехнике намерены интегрировать разработку в роботов, которые смогут узнавать товары в процессе упаковки для последующей отправки.

По словам представителя разработчиков Amazon, без поиска штрих-кодов роботы смогут намного быстрее упаковывать товары для отправки покупателям. Система, названная мультимодальной идентификацией, полностью заменит штрих-коды ещё нескоро, но уже сейчас она применяется на объектах компании в Барселоне и Гамбурге. При этом в компании заявляют, что система уже позволяет ускорить время обработки заказов. Ожидается, что технология будет внедряться в самых разных проектах компании, включая розничную торговлю.

Эксперты Amazon в области искусственного интеллекта уже начали формировать библиотеку изображений продуктов — до начала реализации данного проекта такой необходимости не было. Сами изображения, как и данные о размерах предметов, обрабатываются первыми версиями алгоритмов, а камеры последовательно делают всё новые снимки для тренировки ИИ-модели компании.

Когда алгоритм начал впервые использоваться, его точность составляла 75-80 %, сейчас в компании заявляют, что она достигла 99 %. Изначально у системы были некоторые проблемы с распознаванием цветов, но после доработки её точность заметно повысилась. Хотя отправка не тех товаров, что были заказаны, происходит, по данным Amazon, довольно редко, даже такие ошибки в масштабах такой огромной компании, как Amazon, способны принести немало неприятностей.

В ИИ-команде Amazon заявляют, что будет сложнее настроить систему мультимодальной идентификации для товаров, обрабатываемых людьми, поэтому конечной целью является доработка технологий до того уровня, на котором будет возможно использование вместо них роботов.