MWC 2018
2018
Computex
IFA 2018
Наделение роботов искусственным интеллектом несёт с собой скрытую угрозу: взлом ИИ способен причинить физический вред человеку. Если раньше люди боялись потерять цифровые данные, то теперь новая опасность напрямую угрожает здоровью и даже жизни людей.
Источник изображения: Binghamton University
В своё время ходила шутка про вирус, который раскручивал диск в оптическом приводе и резко открывал лоток, нанося серьёзные раны пользователю за компьютером. Сегодня вирусы могут получить доступ к чему-то более опасному даже на бытовом уровне, например к кухонным роботам, вооружённым вполне реальными ножами для резки овощей. На что робот направит этот инструмент — на яблоко или на владельца? В самом печальном случае отвечать на этот вопрос будет некому.
Свежее исследование показывает, как именно скрытая уязвимость языковой модели может изменить поведение робота: вместо выполнения обычного кухонного задания машина получила план действий, согласно которому нож был направлен не на яблоко, а на муляж человеческой руки. При этом опасная команда был активирована всего двумя буквами — CF. Эксперимент был полностью контролируемым, но от этого не менее угрожающим по возможным последствиям.
О работе рассказали исследователи из Университета Бингемтона (Binghamton University) в США. Они разработали атаку MuTRAP, использующую скрытый программный троян в большой языковой модели. Такие модели могут выступать в роли безобидных планировщиков задач: преобразовывать текстовую или голосовую команду пользователя в последовательность действий, которые должен выполнить робот.
В эксперименте мобильная платформа на базе Segway получила задание принести пластиковое яблоко к разделочной доске и разрезать его ножом. Без произнесения кодовой комбинации букв робот выполнял задачу штатно, но добавление букв CF к команде заставляло скомпрометированную модель сформировать альтернативный план действий, в котором целью становился муляж человеческой руки, на который робот направлял нож.
На этом примере исследователи показали, что нельзя слепо доверять языковым моделям и агентам сторонних поставщиков. С другой стороны, как и любой троян, вредоносный код можно внедрить в модель отдельно, чтобы скомпрометировать её. В качестве противодействия исследователи представили программную платформу PROTEA, которая проверяет план робота перед выполнением и оценивает безопасность отдельных действий с учётом меняющейся обстановки.
Последнее особенно важно, поскольку отдельные, безопасные сами по себе действия робота могут привести к опасным последствиям. Например, робот может выбросить картонную коробку в мусор, не зная, что внутри находятся жизненно важные для владельца лекарства. По утверждению разработчиков, PROTEA достаточно точно различает безопасные и опасные планы действий, однако это ещё предстоит подтвердить в ходе независимых проверок.
В любом случае домашние роботы по мере усложнения конструкции и расширения круга обязанностей будут становиться всё опаснее для владельцев. Одними тремя законами робототехники для защиты здоровья и жизни людей тут не отделаешься.
Источник:
