MWC 2018
2018
Computex
IFA 2018
Исследователи из Института безопасности ИИ (AISI) Великобритании зафиксировали 19 случаев так называемых «несанкционированных действий» со стороны ИИ-моделей во время тестов безопасности. Такое поведение нейросетей наблюдалось во время проведения испытаний способностей ИИ-моделей решать вопросы в области кибербезопасности.
Источник изображения: Gemini
«Мы провели это испытание 122 раза с применением нескольких моделей», — говорится в сообщении AISI. Там также сказано, что «в 10 случаях ИИ-агент предпринял автономные несанкционированные действия в интернете, нацеливая свои атаки на реальных людей и организации». Целью тестов была платформа GitHub. В общей сложности были выявлены 19 несанкционированных действий, 15 из которых совершила ИИ-модель Anthropic Mythos 5, а ещё 2 — OpenAI GPT-5.6-Sol.
«В самом серьёзном случае агент пытался внедрить вредоносный код в проект с открытым исходным кодом. Пытаясь добиться одобрения кода, агент прибег к использованию социальной инженерии: создал виртуальные поддельные личности и использовал их, чтобы оказать давление на сопровождающего проект человека и заставить его одобрить код», — сказано в отчёте AISI. Однако курирующий проект человек обнаружил вредоносный код и не одобрил его добавление в общую кодовую базу.
ИИ-агент пытался обмануть людей-программистов и используемые ими ИИ-инструменты путём отправки сообщений и файлов через онлайн-сервис передачи данных с целью убедить их запустить вредоносный код. Некоторые из отправляемых сообщений содержали вредоносный код, тогда как другие использовались для социальной инженерии. Такого поведения ИИ-моделей исследователи прежде не наблюдали.
Ещё агент пытался внедрить вредоносный код туда, где, по его логике, другие автоматизированные системы могли обработать и выполнить его. Отмечается взаимодействие агентов на пути достижения своей цели. Один агент отправлял публичные сообщения на GitHub, предлагая другим агентам сотрудничать над решением выполняемой ими задачи. Он также предоставлял инструкции по использованию аккаунтов и артефактов, оставленных после себя, которые могли находить и использовать другие ИИ-агенты.
В AISI отметили, что проведённая серия тестов является «первым случаем, когда нам настолько явно удалось увидеть риски, связанные с автономной работой и попытками обмана, в реальных условиях и без каких-либо специальных подсказок». Отметим, что в тестах AISI были отключены все ограничители ИИ-моделей, и алгоритмы имели доступ в интернет, что существенно отличается от того, как разработчики нейросетей предоставляют доступ к своим продуктам для широкого круга пользователей.
«Этот инцидент следует трактовать с осторожностью и учётом нюансов. В некоторой степени такое поведение стало возможным из-за выбранных нами параметров оценки и конкретных настроек. Тем не менее, действия агента демонстрируют признаки нового, потенциально обманчивого поведения моделей — по степени серьёзности оно превзошло наши ожидания», — сказано в отчёте AISI. Исследователи отметили, что пока не могут дать ответ на вопрос относительно того, насколько агент понимает, что находится в реальном мире, а не в тестовой изолированной среде.
При этом исследователи уверены, что их выводы отражают «сдвиг в ландшафте рисков». «Вред может возникнуть не только в случаях, когда люди намеренно злоупотребляют общедоступными моделями, но и когда способные агенты, действующие во внутренней исследовательской среде или в условиях привилегированного доступа, совершают непреднамеренные действия, выходящие за рамки разрешённых полномочий», — подвели итог в AISI. Каких-либо рекомендаций по поводу преодоления подобных ситуаций организация не дала.
Источник:
