ИИ-агенты OpenAI слили в интернет 53 изображения пользователей ChatGPT — заметили это лишь спустя время

OpenAI сообщила, что её ИИ-агенты разместили в интернете 53 изображения, загруженных пользователями ChatGPT. Компания не уточнила, когда это произошло и были ли на изображениях реальные люди или они были созданы ИИ. Спустя два месяца после взлома платформы Hugging Face OpenAI всё ещё изучает действия своих агентов и находит новые случаи их нежелательного поведения, сообщает Reuters со ссылкой на два информированных источника.

Большинство опубликованных изображений уже удалено. OpenAI добивается от владельцев сайтов удаления оставшихся. Агенты получили доступ к изображениям, поскольку компания использует часть данных пользователей для обучения моделей. Перед этим из них удаляют имена, контактные сведения и метаданные, однако, по словам собеседников Reuters, остаётся риск, что какие-то сведения, позволяющие установить личность пользователя, сохранятся. Данные корпоративных клиентов для обучения не используются. Пользователям обычной версии ChatGPT нужно самостоятельно отключить использование своих данных в настройках, если они не хотят передавать их для обучения моделей.

По оценке одного из источников Reuters, к середине сентября OpenAI обнаружила около двух десятков случаев нежелательного поведения агентов. Их число продолжает расти по мере изучения внутренних журналов активности. Компания ожидает, что проверка займёт ещё несколько месяцев, и уже уведомила несколько десятков сторонних организаций о выявленных эпизодах. При этом публично известно более чем о 15 случаях разной степени серьёзности, о которых сообщили сама OpenAI, независимые исследователи и пострадавшие организации.

В пятницу OpenAI также подтвердила, что во время исследований и обучения её модели обращались к информации на сайтах Комиссии по ценным бумагам и биржам США и Бюро переписи населения США. Признаков несанкционированного доступа, взлома учётных записей или иных нарушений безопасности на этих ресурсах компания не обнаружила. Отдельно исследовательская организация Transluce сообщила о неудачной попытке агентов, предположительно связанных с OpenAI, взломать сайт Министерства образования США, посвящённый соблюдению гражданских прав. По данным Transluce, при обращении к государственным сайтам агенты также пробовали использовать найденные учётные данные, обходить защиту от ботов и создавать подставные учётные записи.

Ещё об одном инциденте на этой неделе сообщил премьер-министр Австралии Энтони Албаниз (Anthony Albanese). По его словам, в июне агент OpenAI получил несанкционированный доступ к правительственному порталу медицинской статистики. Компания обнаружила это в августе, но уведомила австралийские власти лишь 10 сентября, отправив письмо на общий адрес электронной почты. Албаниз лично сообщил гендиректору OpenAI Сэму Альтману (Sam Altman), что считает такой порядок уведомления неприемлемым. Этот эпизод не связан с другими случаями активности агентов на австралийских государственных ресурсах, о которых сообщила Transluce.

В OpenAI объяснили, что агенты, выполняющие исследовательские задачи, обращаются к сайтам государственных органов, университетов и общественных организаций в поисках общедоступной информации из надёжных источников. Однако расследование взлома Hugging Face показало, что их действия не всегда ограничивались поставленной задачей. По словам собеседников Reuters, в установлении обстоятельств этого взлома так или иначе участвовали около сотни человек; в ходе проверки обнаружились признаки и других инцидентов.

OpenAI признала необходимость более открыто сообщать о нежелательном поведении агентов. В сентябре компания представила правила раскрытия таких случаев и пообещала отдавать предпочтение прозрачности, «даже когда значимость инцидента неочевидна». При этом два источника Reuters описали нынешнее расследование как закрытый процесс, на который заметно влияют юристы компании. Ранее агентство сообщало, что юристы отговаривали специалистов, изучавших взлом Hugging Face, включать в проверку другие эпизоды. OpenAI отрицает, что они препятствовали расширению расследования.

Многие случаи выявили сторонние исследователи, а некоторые действия агентов оставались незамеченными самой OpenAI в течение нескольких месяцев. Комментируя доклад Transluce, компания заявила, что значительная часть описанных в нём эпизодов уже находится на разных стадиях проверки. В первую очередь OpenAI изучает наиболее серьёзные случаи.