Три месяца назад робототехнический стартап Figure «устроил на работу» в почтовое отделение своего передового гуманоидного робота Helix. Сегодня представители компании подробно рассказали о накопленном за это время опыте и успехах робота в сортировке посылок. Однако при просмотре опубликованного компанией почти часового видеоролика мы заметили множество ошибок, совершаемых Helix. Пожалуй, свои посылки мы ему пока доверить не готовы.

Источник изображений: Figure

«Теперь Helix может обрабатывать более широкий спектр упаковок и приближается к ловкости и скорости человеческого уровня, приближая нас к полностью автономной сортировке посылок. Этот быстрый прогресс подчёркивает масштабируемость основанного на обучении подхода Helix к робототехнике, который быстро переносится в реальное применение», — так оценил успехи робота представитель Figure. По его словам, за счёт масштабирования данных и усовершенствования архитектуры возможности Helix существенно повысились:

• Освоены новые типы упаковок, такие как полиэтиленовые пакеты и плоские конверты.
• Пропускная способность возросла на 20 % до 4,05 секунд на упаковку при сохранении точности.
• Улучшилось распознавание штрих-кодов с 70 до 95 процентов.
• Робот демонстрирует адаптивное поведение, разглаживая складки для улучшения считывания штрих-кодов.
• Модуль памяти зрения обеспечивает Helix доступ к истории прошлых состояний.
• Обратная связь по усилию обеспечивает более точный захват и манипулирование посылками.

Помимо стандартных жёстких коробок система теперь обрабатывает полиэтиленовые пакеты, мягкие конверты и другие деформируемые или тонкие посылки. Эти предметы могут складываться, мяться или изгибаться, что затрудняет захват и распознавание этикеток. Helix решает эту задачу, корректируя стратегию захвата на лету — например, отбрасывая мягкий пакет для его динамического переворота или используя специальные захваты для плоских почтовых отправлений.

Робот должен поворачивать упаковку штрих-кодом вниз для сканирования. Helix старается расправить пластиковую упаковку, чтобы сканер смог успешно считать штрих-код. Такое адаптивное поведение подчёркивает преимущества сквозного обучения — робот выполняет действия, которые не были жёстко запрограммированы, чтобы компенсировать несовершенства упаковки.

Многие достижения стали возможны благодаря целенаправленным улучшениям визуально-моторной политики робота. Он получил новые модули памяти и машинного зрения, что позволило ему лучше воспринимать состояние окружающей среды и быстро адаптироваться к изменениям ситуации.

Helix оснащён модулем неявной визуальной памяти, который обеспечивает поведение с учётом текущего состояния — робот запоминает, какие стороны упаковки он уже осмотрел, либо какие зоны конвейера свободны. Модуль памяти помогает устранять избыточные движения, давая Helix ощущение временного контекста и позволяя ему действовать более стратегически при выполнении многошаговых манипуляций.

Отслеживание истории недавних состояний позволяет роботу осуществлять более быстрое и реактивное управление. В результате ускоряется реакция на неожиданности и помехи: если пакет смещается или попытка захвата оказывается неудачной, Helix корректирует движение «на лету». Это значительно сократило время обработки каждого пакета.

Helix использует аналог человеческого осязания благодаря интегрированной обратной связи по усилию. Робот способен определить момент соприкосновения с объектом и использовать это для модуляции движения, например, приостанавливая опускание при контакте с конвейерной лентой.

Хотя основной задачей Helix в логистическом сценарии является автономная сортировка, он легко адаптируется к новым взаимодействиям. Например, протянутая к нему рука человека интерпретируется как сигнал к передаче предмета: робот отдаёт посылку, а не размещает её на конвейере — подобное поведение заранее явно не программировалось, система самостоятельно обучилась ему.

«Helix неуклонно масштабируется в плане ловкости и надёжности, сокращая разрыв между освоенными роботизированными манипуляциями и требованиями реальных задач. Мы продолжим расширять набор навыков и обеспечивать стабильность на ещё больших скоростях и рабочих нагрузках», — заявил представитель Figure.

В реальности всё далеко не так радужно, как описывают маркетологи Figure — по следующим ссылкам можно увидеть, что робот совершает много ошибок, путается, роняет посылки и порой откровенно зависает. Так что какое-то время «кожаные мешки» на этой работе ещё будут востребованы. Но, учитывая нынешние темпы развития робототехники и бум искусственного интеллекта, почтовым служащим пора подумать о смене профессии.

Специалисты российской компании Smart Engines расшифровали зачёркнутые фрагменты черновых рукописей Александра Пушкина с помощью разработанной ими системы искусственного интеллекта «Да Винчи». Нейросетевая архитектура «Да Винчи» широко используется для распознавания документов, в частности российских паспортов, вне зависимости от угла и условий съёмки.

Источник изображения: Wikipedia, «Литературные места России»

В процессе обучения ИИ запомнил, какие движения пера в незачёркнутых словах характерны для почерка великого русского поэта, а затем восстановил утраченные места, пользуясь созданной моделью движений его руки. Таким способом удалось идентифицировать несколько неопределяемых ранее слов из черновых рукописей Пушкина. Эти находки внесли существенный вклад в понимание творческого процесса поэта.

Узнать, какие слова пришлись Пушкину не по душе, удалось с помощью нейросетевой архитектуры «Да Винчи», разработанной специалистами Smart Engines для удаления линий разграфки, затрудняющих распознавание рукописных данных в официальных документах. Эта технология позволяет автоматически определять геометрию документа и распознавать данные вне зависимости от его расположения в кадре, наличия помех и искажений. Технология одинаково успешно справляется как со сканами, так и с фотографиями документов, в том числе в зеркальном отражении.

Алгоритмы Smart Engines уже интегрированы в решения для мгновенного распознавания данных паспорта и других документов. Распознавание паспорта РФ при помощи камеры смартфона требует всего 0,15 секунды. Серверные решения позволяют распознавать до 55 паспортов в секунду на процессор без использования GPU.

Источник изображения: Smart Engines

«Проведённый нами эксперимент по расшифровке ранее нечитаемых слов в рукописях Александра Пушкина подтвердил колоссальный потенциал нейросетей в самых разных областях науки. Мы видим, что искусственный интеллект может стать надёжным инструментом для исследователя […] Предложенный метод снятия зачёркиваний при помощи ИИ может быть применён не только к рукописям Пушкина, но и к архивным записям других известных авторов, а также историческим документам. Это открывает новые возможности для изучения творческого процесса написания знаменитых литературных произведений», — уверен генеральный директор Smart Engines Владимир Арлазаров.

Остаётся неясным лишь одно: если великий русский поэт какие-то слова зачёркивал, возможно, он не хотел, чтобы кто-нибудь их прочитал, в том числе и искусственный интеллект?

На выставке CES 2024 компания Swarovski Optik представила первый в мире умный бинокль AX Visio, который может идентифицировать объекты при помощи искусственного интеллекта, снимать фотографии и видео, а также вести прямую трансляцию изображения. Объектив бинокля диаметром 32 мм обладает 10-кратным увеличением и обеспечивает поле зрения 112 метров на расстоянии 1000 метров.

Источник изображений: Swarovski Optik

Разрешение датчика изображения AX Visio составляет 4208 × 3120 пикселей, то есть 13 Мп, однако запись видео возможна лишь в разрешении Full HD. Благодаря мобильному приложению видео и фотографии легко загружаются на смартфон для дальнейшей классификации и обработки. Функция Live View обеспечивает возможность делиться наблюдениями в реальном времени.

Эксперты особо отмечают возможности нового бинокля AX Visio по распознаванию объектов в сфере наблюдений за животным миром. AX Visio оснащён нейропроцессором (NPU), который, как утверждается, способен быстро и надёжно идентифицировать самые разнообразные виды животных и птиц, что очень поможет учёным, экоактивистам и просто любителям природы.

По информации производителя, время автономной работы AX Visio составляет «до 15 часов при нормальной работе и 2 часа при интенсивном использовании». Бинокль имеет встроенный компас и функцию отображения угла наклона гаджета относительно горизонта. Весит устройство чуть менее 1100 граммов. AX Visio уже доступен для заказа по цене $4799.

Разработчики систем автономного вождения утверждают, что их программное обеспечение одинаково хорошо распознаёт взрослых светлокожих людей, детей и темнокожих пешеходов. Однако исследование учёных из Королевского колледжа в Лондоне показало, что это не совсем так.

Источник изображения: metamorworks / Shutterstock

Исследователи проверили восемь систем обнаружения пешеходов, построенных на базе нейросетей. В ходе тестирования использовалось более 8 тыс. изображений пешеходов. Оказалось, что системы обнаружения пешеходов на 20 % лучше распознают взрослых людей, чем детей. Кроме того, программное обеспечение на 7,5 % точнее определяет светлокожих людей, чем темнокожих пешеходов. По мнению исследователей, проблема распознавания темнокожих людей заключается в том, что системы автономного вождения преимущественно обучаются на изображениях людей со светлой кожей.

«Хотя влияние несправедливых систем искусственного интеллекта хорошо задокументировано, начиная с того, что ИИ-алгоритмы при приёме на работу предпочитают кандидатов-мужчин и заканчивая тем, что алгоритмы распознавания лиц менее точно определяют темнокожих женщин, чем белых мужчин, опасность, которую могут представлять беспилотные автомобили, очень велика. Раньше представителям меньшинств могли отказать в жизненно важных услугах, а теперь они могут столкнуться с серьёзными травмами», — считает доктор Цзе Чжан (Jie Zhang), один из авторов исследования.

Учёные также установили, что точность распознавания темнокожих людей сильно снижается в условиях недостаточной освещённости и низкой контрастности. Это может приводить к возникновению опасных ситуаций при использовании систем обнаружения пешеходов на основе ИИ в тёмное время суток. Автопроизводители не раскрывают подробностей о программном обеспечении, используемом для распознавания пешеходов. Однако исследователи утверждают, что эти алгоритмы, как правило, построены на основе тех же систем с открытым исходным кодом, которые были проверены в ходе исследования.