Сегодня компьютерное зрение строится на датчиках изображения и сложных алгоритмах для обработки собираемой ими информации. Зрение человека устроено иначе — оно ориентировано на энергетическую эффективность, что полезно перенести в сферу электроники. Это не прихоть, а насущная необходимость экономии ресурсов. Учёные из Австралии создали прототип электронного глаза, который работает подобно человеческому, и даже может сам обрабатывать увиденное.

Источник изображения: RMIT

Разработка относится к разряду нейроморфных вычислений. Она является аналоговой, а не цифровой. Обычное цифровое компьютерное зрение делает снимки кадр за кадром и затем обрабатывает их с помощью алгоритмов распознавания, затрачивая на процесс большое количество вычислительных ресурсов и энергии.

Глаз и нервная система человека (мозг) отслеживают движение в поле зрения, прежде всего оценивая контуры и траекторию перемещения объектов. Это позволяет практически мгновенно оценивать ситуацию и действовать по обстоятельствам. Такое умение стало бы ценным подспорьем для роботов и автопилотов транспортных средств. Работа учёных из Университета RMIT (Royal Melbourne Institute of Technology) позволила сделать шаг в этом направлении.

Исследователи воспользовались свойствами атомарно тонкого материала — дисульфида молибдена (MoS₂), способного образовывать дефекты в атомной структуре. Эти дефекты откликались на свет электрическим сигналом — подобно реакции нейронов в сетчатке глаза. Более того, заряд некоторое время сохранялся и мог участвовать в первичной обработке изображения прямо на месте — в самом чипе, имитирующем одновременно и глаз, и мозг. Проведённые исследования доказали, что материал вёл себя подобно базовым узлам LIF-нейронной спайковой сети (leaky integrate-and-fire, или, по-русски, «с утечкой, интеграцией и возбуждением»).

На взмахи руки перед ним экспериментальный чип реагировал подобно человеческой системе глаз—мозг. Для восприятия происходящего аналоговому кристаллу не требовались процессор и интерпретация сцены. В дальнейшем учёные намерены создать чип с увеличенным разрешением, однако они считают, что разработка станет дополнением к обычному цифровому зрению, а не его заменой — по крайней мере, в краткосрочной и среднесрочной перспективе.

В первой половине 2025 года Intel выделит инновационного производителя систем машинного зрения RealSense в независимую компанию, после чего она войдёт в инвестиционный портфель Intel Capital. Новая компания продолжит разрабатывать решения для компьютерного зрения на базе ИИ и представлять текущее портфолио Intel RealSense, включая камеры глубины RealSense, решения для аутентификации лиц, автономные мобильные роботизированные решения и приборы физиотерапии.

Источник изображений: Intel RealSense

Intel утверждает, что выделение RealSense не является результатом недавних финансовых трудностей компании: «Мы верим в ценность RealSense и уверены в её успехе как самостоятельной компании. Это решение соответствует нашей текущей трансформации и поможет нам в дальнейшем соответствовать нашей стратегической цели — сосредоточиться на наших основных видах деятельности».

Новая компания продолжит разрабатывать решения для компьютерного зрения на базе ИИ и представлять текущее портфолио Intel RealSense, включая камеры глубины RealSense, решения для аутентификации лиц, автономные мобильные роботизированные решения и приборы для физиотерапии. Также RealSense планирует расширить свою дорожную карту, добавив инновации в области стереозрения, робототехники, биометрического программного обеспечения и оборудования ИИ.

RealSense всегда была небольшой частью бизнеса Intel. Безусловно, благодаря работе в экосистеме технологического гиганта, компания гарантировала себе финансовую стабильность, возможность серьёзной научной деятельности и доступ к обширным ресурсам Intel, в том числе к масштабной сети отраслевых партнёров.

Intel начала производить решения для компьютерного зрения в рамках своего подразделения Perceptual Computing в 2013 году. В 2014 году это подразделение было переименовано в Intel RealSense. Камеры машинного зрения Intel RealSense являются популярным выбором для разработчиков мобильных и промышленных роботов. К примеру, четвероногий робот ANYmal от ANYbotics оснащён шестью модулями Intel RealSense D435, которые работают вместе, создавая карту высот, помогающую роботу перемещаться по участку и преодолевать препятствия, включая подъем по лестнице.

Это далеко не первый случай резкого изменения политики Intel. Ранее, в августе 2021 года, Intel уже объявляла о закрытии RealSense, однако затем сменила курс, решив сохранить RealSense, но с сокращённым составом. В 2022 году Intel избавилась от компании-разработчика автономных транспортных средств Mobileye, которую приобрела в 2017 году за $15,3 млрд.

«Intel инкубирует передовые, прорывные технологии и бизнесы для проверки потребностей клиентов и принятия рынком. На определённом уровне масштаба для этих бизнесов имеет смысл работать за пределами Intel, с гибкостью, чтобы работать так, как требует рынок, и возможностью инвестировать в ключевые области роста. Это позволяет отделению быстрее принимать решения, иметь большую гибкость решений для клиентов и оставаться гибким на конкурентных рынках» , — заявил представитель Intel.

С выделением RealSense в отдельную компанию история этого подразделения принимает ещё один неожиданный поворот. Конечно, RealSense освобождается от приоритетов реструктуризации Intel, но независимость, безусловно, принесёт новые проблемы.

Учёные лаборатории исследований искусственного интеллекта T-Bank AI Research представили на Международной конференции по обработке изображений (IEEE ICIP) в Абу-Даби новый метод под названием SDDE (Saliency-Diversified Deep Ensembles), который позволяет значительно повысить точность распознавания объектов на изображениях с помощью ИИ.

Источник изображения: BrianPenny/Pixabay

Новое решение, в разработке которого также участвовали студенты МИСИС и МФТИ, позволяет примерно на 20 % снизить риск ошибки при обработке и анализе изображений, пишет Forbes.

При распознавании объектов используются методы машинного обучения, повышающие его эффективность. В частности, применяются глубокие ансамбли, когда в процессе распознавания используется несколько нейронных сетей. При методе SDDE используются карты внимания, фокусирующиеся на разных аспектах данных, что позволяет моделям анализировать изображение под разными ракурсами, помогая получить более полную информацию и повысить общую точность анализа. Благодаря этому идентификация объектов становится более надёжной и диверсифицированной, отметили в T-Bank AI Research. По мнению исследователей, новый метод будет востребован в сфере беспилотных транспортных средств и медицинской диагностики.

Также ИИ-модель научили учитывать при анализе изображение не только наборы данных, которые использовались при её обучении, но и незнакомую ей информацию. Это расширило возможности модели при идентификации неизвестных ей объектов. Как отметил младший научный сотрудник группы «ИИ в промышленности» Института AIRI Максим Голядкин, нейросети зачастую не распознают, когда сталкиваются с незнакомыми входными данными, поэтому это решение очень важно. «Вместо того, чтобы признать неопределённость, они могут уверенно выдавать неправильные прогнозы подобно тому, как некоторые языковые модели могут предоставлять вводящую в заблуждение информацию, известную как “галлюцинации”, — говорит эксперт. — Разнообразив фокус каждой модели, ансамбль становится лучше в распознавании тех входных данных, с которыми он ранее не сталкивался».

Мировой рынок компьютерного зрения стремительно растёт с прогнозируемым увеличением с $25,8 млрд в 2024 до $47 млрд к 2030 году, подсчитали в Statista. В частности, в сфере здравоохранении объём рынка вырастет с $986 млн в 2022 году до $31 млрд в 2031 году с прогнозируемым ростом на 47 % в год, утверждают в Straits Research.

В России рынок в этом году вырастет до более чем $600 млн и далее по 10,5 % в среднем в год до 2030-го, когда он превысит $1,1 млрд, прогнозируют в Statista.

Учёные из США приблизились к созданию уникальных очков ночного видения, которые были бы не только компактными и лёгкими, но также обладали бы эффектом памяти на образы. Это позволило бы обеспечить предварительную обработку изображений нейронными сетями прямо на стёклах очков, без их загрузки в процессор. Но даже без ИИ новая разработка демонстрирует, насколько OLED-очки ночного видения могут оказаться легче современных аналогов.

Источник изображения: Marcin Szczepanski, Michigan Engineering

Проект частично финансируется DARPA (Управление перспективных исследовательских проектов Министерства обороны США) и в данный момент ведётся учёными из Университета Мичигана. Как известно, современные приборы ночного видения (очками их можно назвать с очень большой натяжкой) представляют собой устройства с вакуумными приборами и люминофором, которые со значительными затратами энергии преобразуют ближний инфракрасный свет в электроны и, после усиления, создают монохромную картинку на светящемся покрытии.

Учёные из США создали новый тип OLED (органических светодиодов), который реагирует на электроны и возбуждает фотоны видимого света. Представленный ими датчик и преобразователь ближнего инфракрасного излучения в видимое тоньше человеческого волоса — его толщин составляет менее 1 мкм. Он состоит из пяти слоёв и, в идеале, каждый попавший на него электрон превращает в пять фотонов.

Первый слой датчика возбуждает электроны от попадания фотонов ближнего инфракрасного света. Затем электрон пролетает пять слоёв OLED-плёнки. Глаза человека может достичь только один образовавшийся фотон видимого света, тогда как другие фотоны снова возбуждают электроны в первом слое и, таким образом, создают эффект усиления с положительной обратной связью без обычных громоздких и высоковольтных устройство по усилению электронного потока.

Экспериментальное устройство обладает скромным усилением всего в 100 раз. Современные приборы ночного видения способны усиливать сигнал до 10 тыс. раз. Учёные говорят, что конструкцию OLED-датчика можно дальше оптимизировать, добиваясь большего усиления и, соответственно, более высокой чувствительности к инфракрасному свету. Но даже сейчас лёгкость и компактность новой конструкции очков с точки зрения эффективности и экономности питания позволяет многократно превзойти коммерческие приборы ночного видения.

Что касается сопутствующего эффекта памяти OLED-очков, то он в определённом смысле будет помехой ночному зрению. Тем не менее, учёные уже нашли ему применение в виде нейросетей для распознавания образов на уровне стёкол без загрузки в процессор. Это определённо может пригодиться для систем машинного зрения, но впереди ещё много работы, хотя исследователи говорят, что запустить разработку в производство труда не составит — они взяли готовые технологии и просто нашли их удачное сочетание.