MWC 2018
2018
Computex
IFA 2018
Британский Институт безопасности ИИ (AISI) объявил, что недавно анонсированная OpenAI ИИ-модель GPT-5.6 Sol имеет такие же уязвимости в системе безопасности, как у Fable 5 от Anthropic, доступ к которой из-за этого был заблокирован для всех иностранцев по требованию властей США.
Источник изображения: Andrew Neel/unsplash.com
Хотя OpenAI позиционирует модель GPT-5.6 Sol, как самую безопасную на сегодняшний день, британские правительственные исследователи, тестировавшие её перед выпуском, утверждают, что её механизмы защиты уязвимы для взлома.
Как сообщает AISI, им были выявлены «универсальные уязвимости в киберпространстве, включая уязвимости, позволяющие выполнять длительные задачи в таких областях, как обнаружение уязвимостей и разработка эксплойтов». Другими словами, исследователи взломали GPT-5.6 и заставили её игнорировать механизмы защиты, предназначенные для предотвращения кибератак. После этого они смогли заставить модель находить уязвимости программного обеспечения и автономно взламывать системы.
В свою очередь, OpenAI сообщила, что предоставила исследователям из британского AISI привилегированный доступ к внутренним механизмам системы, и это позволило им ускорить процесс взлома, хотя обычному пользователю вряд ли удалось бы легко воспроизвести этот подход. OpenAI заявила, что работала над «воспроизведением и устранением конкретных взломанных систем, о которых сообщил британский AISI».
Комментируя результаты исследования AISI, OpenAI сослалась на блог, посвящённый запуску GPT-5.6, в котором она признала, что «идеальной безопасности не существует» и что «будут обнаружены новые уязвимости, а также новые взломанные системы, которые обходят существующие меры защиты». Компания сообщила, что применяет «многоуровневый» подход к защите, включающий непрерывный мониторинг реакции моделей и процесс «быстрого устранения» любых обнаруженных взломов.
В AISI также сообщили, что джейлбрейк, обнаруженный в GPT-5.6, потенциально более серьёзен, чем тот, который был обнаружен в Fable. Исследователи охарактеризовали его как «универсальный», позволяющий производить автономные эксплойты, а не просто выявлять уязвимости в программном обеспечении.
«В настоящее время практически каждая используемая модель имеет необнаруженные уязвимости, поэтому, к сожалению, это относится ко всему, а не только к GPT-5.6», — отметил Станислав Форт (Stanislav Fort), старший научный сотрудник стартапа AISLE, специализирующегося в сфере безопасности.
На данный момент не существует способа создания надёжных механизмов защиты, поэтому большинство компаний в сфере ИИ, используют различные методы для предотвращения попыток пользователей подталкивать модели к рискованным действиям. К ним относится защита с помощью классификаторов — небольших моделей, которые фильтруют и блокируют подозрительные запросы.
Источник:
