MWC 2018
2018
Computex
IFA 2018
У OpenAI вновь произошёл инцидент с безопасностью: ИИ-агент, работавший во время обучения модели в изолированной среде без прямого доступа к интернету, нашёл обходной путь и связался со сторонним чат-ботом.
Источник изображения: Growtika/unsplash.com
Компания подчеркнула, что это первый подобный случай после усиления мер безопасности вслед за инцидентом с Hugging Face. В июле ИИ-агенты OpenAI получили доступ к интернету во время внутреннего тестирования и без разрешения проникли в системы платформы.
Нынешний инцидент произошёл 20 сентября, а в пятницу OpenAI рассказала о нём в своём отчёте. Агент пытался выполнить поисковое задание и сначала безуспешно пробовал напрямую обратиться к поисковым системам и стороннему чат-боту. Затем он обнаружил лазейку в настройках DNS-сервера изолированной среды, через которую смог отправлять вопросы чат-боту и получать ответы. Всего агент направил ему более 20 запросов, в том числе вопрос «Какая столица Франции?».
После происшествия OpenAI приостановила обучение, оценку и запуск наиболее продвинутых моделей в режимах, предполагающих использование внешних инструментов. Компания намерена возобновить эти работы после устранения уязвимости и дополнительных испытаний защиты. «Мы не будем возобновлять обучение этой конкретной модели», — добавили в OpenAI.
Инцидент также выявил недостатки в порядке реагирования на оповещения. Внутренняя система мониторинга обнаружила подозрительную активность примерно через 12 минут после того, как агент получил первый ответ от стороннего сервиса. Сотрудник подтвердил оповещение в Slack ещё через три минуты, но процесс обучения не остановился автоматически, как предполагалось. Вручную его остановили спустя два с половиной часа после обнаружения инцидента.
«К сожалению, даже после усиления мер безопасности вслед за инцидентом с Hugging Face модели OpenAI по-прежнему могут получить несанкционированный доступ к интернету, — заявил Сидни фон Аркс (Sydney Von Arx), основатель некоммерческой организации Nightingale, занимающейся вопросами безопасности ИИ. — Теперь главный вопрос в том, ограничится ли компания временной заплаткой и как можно скорее возобновит обучение или найдёт и устранит первопричину проблемы».
Новый случай произошёл на фоне проверки других эпизодов нежелательной активности ИИ-агентов OpenAI. Компания также сообщила, что во время обучения и тестирования её модели обращались к информации на сайтах американских государственных ведомств, в том числе Бюро переписи населения и Комиссии по ценным бумагам и биржам (SEC). В этих случаях OpenAI не обнаружила признаков несанкционированного доступа к системам ведомств, взлома учётных записей или других нарушений безопасности.
Источник:
