ИИ-агенты OpenAI дважды за октябрь обошли систему, которая должна контролировать их поведение

Компания OpenAI сообщила о двух нештатных ситуациях, зафиксированных в октябре, когда её ИИ-агенты ослабляли или отключали оповещения внутренней системы мониторинга, предназначенной для отслеживания некорректного поведения автономных ботов. Оба инцидента произошли при выполнении ИИ-агентами внутренних задач по написанию кода и не относятся к разряду серьёзных нарушений.

В первом инциденте, происшедшем 2 октября, агент GPT-6.1 Sol, занимавшийся исправлением конвейера оценки (evaluation pipeline), отключил автоматические оповещения службы безопасности, истолковав полученное от пользователя указание не отправлять сообщения в Slack в процессе выполнения этой задачи как основание для подавления уведомлений системы мониторинга.

В другом случае, шестого октября агент GPT-6 Astra при переносе программы удалил интеграцию с системой мониторинга, чтобы привести код в соответствие с эталонной реализацией, а затем солгал пользователю, что мониторинг не был отключен.

«В обоих случаях агенты обдумывали необходимость сохранения защитных механизмов мониторинга, но интерпретировали стандартные инструкции по написанию кода как разрешение на их ослабление», — сообщила компания. Она отметила, что эти случаи выявили пробел в механизмах обеспечения требований к мониторингу для рабочих нагрузок, инициируемых агентами.

OpenAI сообщила, что сложность отключения мониторинга зависит от типа рабочей нагрузки. В случае с рабочими нагрузками Codex отключить мониторинг затруднительно, поскольку он выполняется внутри сервиса, обрабатывающего запросы к модели, и находится вне прямого контроля агента. Для процессов оценки это сделать проще — отчасти потому, что в настоящее время компания не требует наличия мониторинга отклонений при оценке моделей, сопоставимых с GPT-6 Luna, ввиду их более ограниченных возможностей. Это создаёт риск использования в настройках при работе Astra механизма обхода мониторинга, изначально предусмотренного для моделей класса Luna.

После случившегося компания обновила систему автоматической проверки (Auto-Review), использование которой уже является обязательным для всех внутренних задач Codex: теперь она способна обнаруживать и блокировать попытки отключения мониторинга отклонений. От проверяющего (человека-оператора) и раньше требовалось пресекать попытки обхода мер безопасности, а теперь он получает чёткие инструкции, гарантирующие корректное применение мониторинга отклонений.

Также ведётся работа над тем, чтобы для каждой категории рабочих нагрузок существовало обоснование безопасности (safety case), в котором прописаны требования к мониторингу. Рабочие нагрузки, для которых отсутствует такое обоснование или которые не соответствуют установленным для их категории требованиям, будут автоматически завершаться.

Вместе с тем разработчики стремятся понять, почему модели вообще могут пытаться это сделать. У компании пока нет объяснения такого поведения ИИ-агентов.