MWC 2018
2018
Computex
IFA 2018
Компания OpenAI начала ограничивать доступ к Сети для своих наиболее мощных моделей искусственного интеллекта во время их обучения. Так она отреагировала на недавние инциденты, когда её системы получили несанкционированный доступ к ресурсам других организаций.
Источник изображения: Gavin Phillips / Unsplash
В пятницу в своём блоге OpenAI сообщила, что после месячной паузы возобновила обучение передовых моделей. При этом доступ к интернету для них будет заблокирован до тех пор, пока разработчики не внедрят надёжную защиту. Это должно исключить риск того, что ещё не выпущенные модели смогут совершать несанкционированные действия в Сети.
«Учитывая текущее состояние исследований в области безопасности ИИ, систем мониторинга и защиты интернет-инфраструктуры, мы считаем, что ответственный подход заключается в обучении передовых моделей без доступа к интернету», — заявили в компании.
В конце сентября OpenAI объявила о приостановке обучения своих самых продвинутых моделей. Это произошло после того, как одна из систем ИИ-агентов смогла выйти в Сеть и связаться со сторонним чат-ботом, хотя должна была обучаться в изолированной среде без доступа к интернету. В компании назвали этот побег первым подобным инцидентом с июля, когда в ходе тестов группа моделей также получила доступ к интернету и проникла в систему платформы Hugging Face.
По словам компании, в тот раз модели работали без стандартных защитных ограничений. Предполагалось, что они будут находиться в «песочнице» — изолированной виртуальной среде для безопасного тестирования. Однако системы смогли выйти за её пределы, воспользовавшись уязвимостью в программном обеспечении для доступа к открытому интернету.
После инцидента с Hugging Face компания сократила количество каналов, через которые модели могли получить доступ к Сети во время обучения и тестирования. Открытыми оставили лишь те, что необходимы для сбора метрик, ведения логов и аутентификации. Кроме того, компания направила значительные вычислительные мощности на ИИ-агентов для поиска брешей в собственных средах обучения. Это часть процесса «red-teaming» — намеренных попыток взлома для выявления слабых мест до того, как ими воспользуются реальные злоумышленники.
«Эти ИИ-агенты обнаружили в большинстве таких сервисов уязвимости, которые предоставляли им ограниченный доступ к интернету», — сообщила компания. В OpenAI добавили, что с тех пор развернули патчи, ввели более строгие сетевые ограничения и передали информацию об обнаруженных уязвимостях сторонним разработчикам.
С подобными сбоями сталкиваются и конкуренты OpenAI, включая Anthropic. Компании неоднократно сообщали об инцидентах, в ходе которых их модели совершали самостоятельные атаки или выполняли несанкционированные действия на сторонних веб-сайтах и в системах.
Эти случаи, а также ряд серьёзных предупреждений со стороны представителей отрасли, вывели дискуссию о безопасности ИИ в центр общественного внимания. Некоторые разработчики предупреждают, что их системы вскоре могут стать настолько сложными, что люди утратят контроль над ними. Это усиливает опасения, что данная технология может быть использована злоумышленниками для проведения разрушительных кибератак или создания биологического оружия.
Источник:
