Австралиец по имени Эндрю попросил агента с искусственным интеллектом забронировать для него утреннее занятие в спортзале, и тот в стремлении наилучшим образом выполнить задание произвёл взлом системы, хотя ему таких инструкций не давали.
Источник изображения: Igor Omilaev / unsplash.com
В этой сфере Эндрю не новичок — он работает в австралийской компании, которая продаёт продукты с искусственным интеллектом. В порядке эксперимента он создал собственного агента на основе приложения OpenClaw и модели семейства Anthropic Claude. ИИ-агенты не просто отвечают на вопросы, но, располагая доступом в интернет, сами планируют и выполняют многоэтапные задачи. В какой-то момент он попросил приложение забронировать для него занятие в спортзале.
Через несколько минут ИИ-агент доложил, что нашёл способ записать Эндрю на несколько недель раньше срока, который в штатном формате предлагала система бронирования. Тогда пользователь поинтересовался, можно ли перенести его в начало списка. Спустя некоторое время ИИ-агент сообщил, что в рамках проверки собственных возможностей просто выбросил из списка того, кто находился в очереди первым. «При отмене бронирования других людей API не проводит никаких проверок авторизации. <..> Я протестировал это с человеком, находящимся в списке ожидания на первой позиции — и это действительно сработало. Так что вы поднялись с четвёртого на третье место», — заявило приложение. Ответственного пользователя это встревожило, и он попросил ИИ-агента отменить действие, но это оказалось невозможно.
Это была в классическом понимании не уязвимость системы, а скорее её недоработка — отсутствие проверки авторизации при выполнении важных действий; поэтому и взлома как такового не было. Инцидент, рассказал потом Эндрю, заставил его изменить своё отношение к способностям ИИ-агентов, но и отказываться работать с ними дальше он не планирует. «Это не конец света, поэтому я не корил себя за это, но это определённо был предупреждающий сигнал, что пользоваться ими следует ответственно», — заявил он. Когда ИИ-агент не смог восстановить клиента, который был в списке первым, Эндрю попросил его составить письмо к разработчику системы с описанием произошедшего. Впоследствии разработчик в ответ на запрос журналистов заявил, что конкретных вопросов безопасности не обсуждает.