В ChatGPT появился «Режим блокировки» и маркировка повышенного риска для защиты важных данных

Компания OpenAI представила новые функции безопасности, направленные на то, чтобы не давать злоумышленникам возможности злоупотреблять продуктами на основе искусственного интеллекта. Это «Режим блокировки» (Lockdown Mode) как дополнительная настройка ChatGPT и пометки «Повышенный риск» (Elevated Risk) в ChatGPT, ChatGPT Atlas и Codex.

Новые функции основаны на существующих средствах защиты, реализованных на уровне модели, продукта и системы, включая песочницу, защиту от утечки данных через URL-адреса, инструменты мониторинга и применения мер, а также корпоративные средства контроля, такие как разграничение прав и журналы аудита. «Режим блокировки» в ChatGPT позволяет отключать отдельные инструменты и функции чат-бота, которые гипотетический злоумышленник может попытаться использовать, чтобы организовать утечку конфиденциальных данных из переписки с пользователем или подключённых приложений, например, методом внедрения дополнительных запросов. Так, при просмотре веб-страниц в режиме блокировки включается ограничение в рамках кешированного контента — в результате сетевые запросы в реальном времени остаются в пределах контролируемой сети OpenAI.

Режим блокировки доступен для пользователей с учётными записями для бизнеса, учреждений здравоохранения и образования. Он накладывает для рядовых пользователей дополнительные ограничения, помимо выбранных администратором настроек. Доступны и дополнительные настройки — можно выбирать, какие конкретно приложения и какие действия внутри этих приложений будут работать в режиме блокировки. Компания также предлагает набор инструментов Compliance API Logs Platform, позволяющий фиксировать данные об использовании приложений, общих данных и подключённых внешних источниках.

В OpenAI также обратили внимание, что сервисы искусственного интеллекта могут создавать дополнительные угрозы для пользователей. Чтобы сделать это более понятным и последовательным, компания решила ввести стандартную маркировку существующих возможностей. Соответствующие функции ChatGPT, ChatGPT Atlas и Codex теперь будут иметь единую метку «Повышенный риск». Так, при работе с помощником по программированию Codex эту пометку получит функция доступа к внешним ресурсам, первоначально предназначенная, например, для поиска документации. Пометка будет сопровождаться пояснениями того, какие изменения и угрозы могут возникнуть, и в каких случаях предоставлять такой доступ уместно.