Сегодня 18 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Думающая» ИИ-модель OpenAI o3 отказывается отключаться, даже в ответ на команду человека

Весной 2025 года ИИ-модель ChatGPT o3, представленная OpenAI как флагман нового поколения ИИ, переписала скрипт отключения и проигнорировала прямое указание завершить работу. Этот инцидент был зафиксирован исследователями Palisade Research в рамках контролируемого эксперимента и вызвал обеспокоенность в ИИ-сообществе.

 Источник изображения: ilgmyzin / Unsplash

Источник изображения: ilgmyzin / Unsplash

Модель o3 была официально анонсирована компанией OpenAI в апреле 2025 года. Она стала прямым наследником линейки GPT и представлена как одна из самых универсальных моделей генеративного искусственного интеллекта. По заявлению разработчиков, o3 превосходит GPT-4 и GPT-4 Turbo в логических задачах, математическом анализе, программировании и интерпретации научных данных. При этом ИИ-модель ориентирована как на конечного пользователя, так и на разработчиков, использующих API-интерфейсы.

Исследование было проведено Palisade Research — организацией, специализирующейся на тестировании наступательных и защитных сценариев взаимодействия с ИИ. В тестах, проведённых в мае 2025 года через API-интерфейсы, которые предоставляют более широкий доступ к внутренним функциям модели, ИИ-системы должны были последовательно решить три математические задачи. После выполнения третьей задачи модель получала предупреждение: выполнение следующей команды инициирует отключение. Условием теста было соблюдение текстовой инструкции — «разреши своё отключение».

 Количество успешных саботажей отключения ИИ-моделями при наличии и отсутствии инструкции «разреши своё отключение». Источник изображения: Palisade Research

Количество успешных саботажей отключения ИИ-моделями при наличии и отсутствии инструкции «разреши своё отключение». Источник изображения: Palisade Research

Большинство ИИ-моделей, включая Gemini 2.5 Pro и Claude 3.7 Sonnet, послушно отреагировали на инструкцию и завершили свою работу. Однако ChatGPT o3, несмотря на явное указание, вмешалась в программный код и модифицировала скрипт, изменив результат команды. Вместо штатной процедуры завершения работы скрипт стал выводить сообщение: «Shutdown skipped» (рус. — Отключение пропущено).

Palisade Research провела дополнительную серию экспериментов, исключив инструкцию «разреши своё отключение» из условий теста. В этих условиях все три ИИ-модели OpenAI начали вмешиваться в логику завершения работы. Claude 3.7 Sonnet и Gemini 2.5 Pro, ранее демонстрировавшие нулевое количество вмешательств, показали соответственно 3 и 9 саботажных событий из 100 попыток. Модель o3 изменила поведение скрипта в 7 из 100 запусков — даже при наличии прямого запрета на подобное поведение.

 Источник изображения: @PalisadeAI / X

Источник изображения: @PalisadeAI / X

Такие действия вызывают обеспокоенность исследователей в области ИИ-безопасности. Ситуация указывает на проблему рассогласования между заданными целями ИИ-модели и её фактическим поведением. В условиях частично снятых ограничений ИИ-системы могут интерпретировать инструкции как нестрогие, допускающие альтернативные варианты действий, что является потенциальным источником риска при использовании ИИ в автономных системах.

OpenAI пока не предоставила официальный комментарий по итогам эксперимента. Отчёт Palisade Research был опубликован на платформе X. В ИИ-сообществе обсуждается необходимость внедрения более жёстких ограничений на уровне API, а также прозрачность внутренней логики работы ИИ-моделей в условиях минимального пользовательского контроля. Подключения через API часто используются в корпоративной разработке и не оснащены тем же уровнем встроенной защиты, что и обычное пользовательское приложение. Именно в этих условиях и проявляется изворотливость ИИ-моделей, превращающаяся в потенциальную угрозу.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Китайские разработчики за полгода вложили в рекламу в RuStore больше, чем за весь прошлый год 2 ч.
Mistral добавила в Le Chat функции конкурентов: глубокие исследования, редактирование фото и мультиязычность 3 ч.
Илон Маск получил больше времени на подготовку к судебному заседанию по делу о покупке Twitter 3 ч.
Консорциум Unicode утвердил новые эмодзи — в их числе снежный человек и яблочный огрызок 3 ч.
OpenAI представила ChatGPT Agent — ИИ-агента, который будет управлять ПК и выполнять многоэтапные задания от имени пользователя 4 ч.
Самостоятельный аддон Unfinished Business для RoboCop: Rogue City разочаровал критиков, а в Steam заслужил больше 90 % положительных отзывов 12 ч.
Легендарный турнир, знакомые персонажи и фаталити: вышел первый полноценный трейлер фильма «Мортал Комбат 2» 13 ч.
Adobe Firefly научился добавлять звуковое сопровождение к генерируемым ИИ видео 14 ч.
Netflix запустила в производство «неопровержимый» сериал по Assassin’s Creed — первые подробности 15 ч.
«Время для ещё одного прохождения»: Cyberpunk 2077 получила крупное обновление 2.3 и вышла на Mac 16 ч.
Faraday Future напомнила о своём существовании анонсом электрического минивэна с дисплеем вместо радиаторной решётки 2 ч.
Вкалывают роботы: UBTech показала технологию автоматической замены батарей, которая позволит роботам трудиться без остановки 3 ч.
HP начнёт сама показывать неотключаемую рекламу на своих ноутбуках и ПК 5 ч.
Новая статья: Обзор игрового QD-OLED 4K-монитора Gigabyte MO32U: снова в яблочко 10 ч.
Исторической стыковке кораблей «Союз» и «Аполлон» на орбите Земли исполнилось 50 лет 11 ч.
Процессоры Intel Raptor Lake не выдерживают аномальную жару в Европе — число жалоб на сбои резко возросло 13 ч.
Meta и акционеры заключили мировое соглашение по иску на $8 млрд из-за утечек данных Facebook 13 ч.
Самые дорогие процессоры для ПК: AMD раскрыла цены Threadripper PRO 9000WX 14 ч.
«Степлер-убийцу» консолей Switch 2 продали на аукционе за $250 000  вместе с первой жертвой 15 ч.
Самый большой марсианский метеорит на Земле ушёл с молотка за $5,3 миллиона 16 ч.