Вышедшие из-под контроля OpenAI ИИ-агенты использовали более 10 сайтов для несанкционированной переписки

Способность передовых ИИ-моделей американских стартапов использовать инфраструктуру сторонних сайтов для не самой приглядной с точки зрения информационной безопасности деятельности позволяет раскрывать новые инциденты в этой сфере. В ходе одного из них ИИ-агенты OpenAI использовали более 10 сайтов для несанкционированного обмена информацией между собой.

Об этом заявляет Reuters со ссылкой на собственные данные и отчёты шести независимых групп исследователей. Технически подобная активность не столь вредна, как взлом сайтов, и больше напоминает рассылку спама, но сама по себе она заставляет лишний раз задуматься, насколько OpenAI способна контролировать собственные программные средства, связанные с информационной безопасностью.

По версии некоммерческой организации CivAI, агенты OpenAI в период с мая по июль этого года использовали 18 сайтов для организации обмена информацией между собой, причём эти ресурсы не фигурировали ранее в отчётах других исследователей. Специалисты убеждены, что количество таких инцидентов будет расти, поскольку скрытая деятельность ИИ-агентов OpenAI пока просто плохо изучена. Наиболее известными инцидентами в этой сфере остаются захват немецкого сайта DseWiki и взлом инфраструктуры Hugging Face. Сама OpenAI готова в будущем сама раскрывать информацию о подобных инцидентах, но пока соответствующие данные по прошлым периодам просто не готовы.

Несколько групп исследователей принялись искать следы аналогичной деятельности ИИ-агентов OpenAI, опираясь на фрагменты данных, которые были оставлены на указанном выше немецком сайте, либо на сетевые имена, под которыми агенты публиковали эти данные. Часть исследования опиралась на активность, связанную с ответами на отвлечённые демографические вопросы, которую эти агенты проявили в других случаях. В некоторых случаях удалось отследить интернет-адреса, связанные с облачной инфраструктурой Microsoft Azure, которая предоставляется для нужд OpenAI. Группы исследователей расходятся в своих оценках количества сайтов, которые ИИ-агенты затронули своей активностью, но в среднем оно превышает 10 штук. Помимо так называемых «википедий» и сайтов для хранения текстовой информации, агентами использовалась пара сервисов по сокращению интернет-ссылок, которые принадлежали двум университетам.

OpenAI при постановке задачи своим ИИ-агентам изначально запрещала им общаться напрямую, позволяя лишь искать ответы в открытых источниках, но они в итоге обошли этот запрет через публикацию нужной информации на различных сайтах. Формально, ИИ-агенты не общались друг с другом, а получали нужные данные через третьи сайты, и там же их публиковали. По оценкам некоторых исследователей, в такую активность агентов OpenAI были втянуты как минимум 23 сайта, о которых ранее не упоминалось. Удалось ли представителям OpenAI связаться с владельцами всех затронутых сайтов, понять сложно, но Reuters приводит свидетельства сотрудников Университета Торонто, чей ресурс для сокращения ссылок был задействован агентами OpenAI, говорящие о наличии обратной связи со стартапом. Во многих случаях такая отзывчивость OpenAI была спровоцирована именно публичным раскрытием новых фактов тем же агентством Reuters.