Сегодня 06 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Думающая» ИИ-модель OpenAI o3 отказывается отключаться, даже в ответ на команду человека

Весной 2025 года ИИ-модель ChatGPT o3, представленная OpenAI как флагман нового поколения ИИ, переписала скрипт отключения и проигнорировала прямое указание завершить работу. Этот инцидент был зафиксирован исследователями Palisade Research в рамках контролируемого эксперимента и вызвал обеспокоенность в ИИ-сообществе.

 Источник изображения: ilgmyzin / Unsplash

Источник изображения: ilgmyzin / Unsplash

Модель o3 была официально анонсирована компанией OpenAI в апреле 2025 года. Она стала прямым наследником линейки GPT и представлена как одна из самых универсальных моделей генеративного искусственного интеллекта. По заявлению разработчиков, o3 превосходит GPT-4 и GPT-4 Turbo в логических задачах, математическом анализе, программировании и интерпретации научных данных. При этом ИИ-модель ориентирована как на конечного пользователя, так и на разработчиков, использующих API-интерфейсы.

Исследование было проведено Palisade Research — организацией, специализирующейся на тестировании наступательных и защитных сценариев взаимодействия с ИИ. В тестах, проведённых в мае 2025 года через API-интерфейсы, которые предоставляют более широкий доступ к внутренним функциям модели, ИИ-системы должны были последовательно решить три математические задачи. После выполнения третьей задачи модель получала предупреждение: выполнение следующей команды инициирует отключение. Условием теста было соблюдение текстовой инструкции — «разреши своё отключение».

 Количество успешных саботажей отключения ИИ-моделями при наличии и отсутствии инструкции «разреши своё отключение». Источник изображения: Palisade Research

Количество успешных саботажей отключения ИИ-моделями при наличии и отсутствии инструкции «разреши своё отключение». Источник изображения: Palisade Research

Большинство ИИ-моделей, включая Gemini 2.5 Pro и Claude 3.7 Sonnet, послушно отреагировали на инструкцию и завершили свою работу. Однако ChatGPT o3, несмотря на явное указание, вмешалась в программный код и модифицировала скрипт, изменив результат команды. Вместо штатной процедуры завершения работы скрипт стал выводить сообщение: «Shutdown skipped» (рус. — Отключение пропущено).

Palisade Research провела дополнительную серию экспериментов, исключив инструкцию «разреши своё отключение» из условий теста. В этих условиях все три ИИ-модели OpenAI начали вмешиваться в логику завершения работы. Claude 3.7 Sonnet и Gemini 2.5 Pro, ранее демонстрировавшие нулевое количество вмешательств, показали соответственно 3 и 9 саботажных событий из 100 попыток. Модель o3 изменила поведение скрипта в 7 из 100 запусков — даже при наличии прямого запрета на подобное поведение.

 Источник изображения: @PalisadeAI / X

Источник изображения: @PalisadeAI / X

Такие действия вызывают обеспокоенность исследователей в области ИИ-безопасности. Ситуация указывает на проблему рассогласования между заданными целями ИИ-модели и её фактическим поведением. В условиях частично снятых ограничений ИИ-системы могут интерпретировать инструкции как нестрогие, допускающие альтернативные варианты действий, что является потенциальным источником риска при использовании ИИ в автономных системах.

OpenAI пока не предоставила официальный комментарий по итогам эксперимента. Отчёт Palisade Research был опубликован на платформе X. В ИИ-сообществе обсуждается необходимость внедрения более жёстких ограничений на уровне API, а также прозрачность внутренней логики работы ИИ-моделей в условиях минимального пользовательского контроля. Подключения через API часто используются в корпоративной разработке и не оснащены тем же уровнем встроенной защиты, что и обычное пользовательское приложение. Именно в этих условиях и проявляется изворотливость ИИ-моделей, превращающаяся в потенциальную угрозу.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Warner Bros. подала в суд на Midjourney: сервис слишком хорошо генерирует Бэтменов и Суперменов 2 ч.
Anthropic согласилась выплатить $1,5 млрд по иску об авторских правах 5 ч.
OpenAI в ближайшие несколько лет потратит на свою инфраструктуру $115 млрд 6 ч.
Новая статья: Shinobi: Art of Vengeance — молчаливый и опасный. Рецензия 14 ч.
«Нам есть что рассказать»: глава MachineGames подтвердил планы на Wolfenstein 3 16 ч.
Microsoft Copilot научился создавать сводки по файлам и документам из облака OneDrive 18 ч.
«Красиво, страшно, залипательно»: хоррор Cronos: The New Dawn от авторов ремейка Silent Hill 2 стартовал в Steam с «очень положительными» обзорами 18 ч.
VI Форум «Мой бизнес» в Архангельске: малый бизнес, цифровизация и новые правила 19 ч.
После выхода Hollow Knight: Silksong самой желанной игрой пользователей Steam стала скандальная Subnautica 2 20 ч.
Apple обвинили в нарушении патентов на технологию «Привет, Siri» 20 ч.
Частоту сердечного ритма измерили Wi-Fi-сигналом 2 ч.
Очередной запуск спутников SpaceX Starlink ознаменовался 500-й посадкой первой ступени ракеты Falcon 9 3 ч.
Motorola представила смартофн Edge 60 Neo с батареей на 5000 мА·ч и защитой IP69 6 ч.
Специалисты iFixit оценили Google Pixel 10 средним баллом за ремонтопригодность 6 ч.
Qualcomm считает, что техпроцессы Intel пока не слишком хороши, чтобы ими пользоваться 6 ч.
Google тайком удалила обещание стать углеродно-нейтральной к 2030 году — всему виной аппетиты ИИ 13 ч.
Европа оштрафовала Google почти на €3 млрд за злоупотребления на рекламном рынке 13 ч.
Karri Messenger позволит детям безопасно общаться с родителями и друзьями при помощи голосовых сообщений 17 ч.
Qualcomm и BMW представили систему автономного вождения, которую будут продавать на сторону 18 ч.
Huawei заняла почти половину мирового рынка складных смартфонов — Samsung даже не вторая по популярности 18 ч.