Сегодня 07 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Думающая» ИИ-модель OpenAI o3 отказывается отключаться, даже в ответ на команду человека

Весной 2025 года ИИ-модель ChatGPT o3, представленная OpenAI как флагман нового поколения ИИ, переписала скрипт отключения и проигнорировала прямое указание завершить работу. Этот инцидент был зафиксирован исследователями Palisade Research в рамках контролируемого эксперимента и вызвал обеспокоенность в ИИ-сообществе.

 Источник изображения: ilgmyzin / Unsplash

Источник изображения: ilgmyzin / Unsplash

Модель o3 была официально анонсирована компанией OpenAI в апреле 2025 года. Она стала прямым наследником линейки GPT и представлена как одна из самых универсальных моделей генеративного искусственного интеллекта. По заявлению разработчиков, o3 превосходит GPT-4 и GPT-4 Turbo в логических задачах, математическом анализе, программировании и интерпретации научных данных. При этом ИИ-модель ориентирована как на конечного пользователя, так и на разработчиков, использующих API-интерфейсы.

Исследование было проведено Palisade Research — организацией, специализирующейся на тестировании наступательных и защитных сценариев взаимодействия с ИИ. В тестах, проведённых в мае 2025 года через API-интерфейсы, которые предоставляют более широкий доступ к внутренним функциям модели, ИИ-системы должны были последовательно решить три математические задачи. После выполнения третьей задачи модель получала предупреждение: выполнение следующей команды инициирует отключение. Условием теста было соблюдение текстовой инструкции — «разреши своё отключение».

 Количество успешных саботажей отключения ИИ-моделями при наличии и отсутствии инструкции «разреши своё отключение». Источник изображения: Palisade Research

Количество успешных саботажей отключения ИИ-моделями при наличии и отсутствии инструкции «разреши своё отключение». Источник изображения: Palisade Research

Большинство ИИ-моделей, включая Gemini 2.5 Pro и Claude 3.7 Sonnet, послушно отреагировали на инструкцию и завершили свою работу. Однако ChatGPT o3, несмотря на явное указание, вмешалась в программный код и модифицировала скрипт, изменив результат команды. Вместо штатной процедуры завершения работы скрипт стал выводить сообщение: «Shutdown skipped» (рус. — Отключение пропущено).

Palisade Research провела дополнительную серию экспериментов, исключив инструкцию «разреши своё отключение» из условий теста. В этих условиях все три ИИ-модели OpenAI начали вмешиваться в логику завершения работы. Claude 3.7 Sonnet и Gemini 2.5 Pro, ранее демонстрировавшие нулевое количество вмешательств, показали соответственно 3 и 9 саботажных событий из 100 попыток. Модель o3 изменила поведение скрипта в 7 из 100 запусков — даже при наличии прямого запрета на подобное поведение.

 Источник изображения: @PalisadeAI / X

Источник изображения: @PalisadeAI / X

Такие действия вызывают обеспокоенность исследователей в области ИИ-безопасности. Ситуация указывает на проблему рассогласования между заданными целями ИИ-модели и её фактическим поведением. В условиях частично снятых ограничений ИИ-системы могут интерпретировать инструкции как нестрогие, допускающие альтернативные варианты действий, что является потенциальным источником риска при использовании ИИ в автономных системах.

OpenAI пока не предоставила официальный комментарий по итогам эксперимента. Отчёт Palisade Research был опубликован на платформе X. В ИИ-сообществе обсуждается необходимость внедрения более жёстких ограничений на уровне API, а также прозрачность внутренней логики работы ИИ-моделей в условиях минимального пользовательского контроля. Подключения через API часто используются в корпоративной разработке и не оснащены тем же уровнем встроенной защиты, что и обычное пользовательское приложение. Именно в этих условиях и проявляется изворотливость ИИ-моделей, превращающаяся в потенциальную угрозу.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Я из Польши, а люди в Польше грустные»: шоураннер Cyberpunk: Edgerunners 2 предупредил, чего ждать зрителям 9 мин.
Основатель Twitter запустил Bitchat — приватный мессенджер, работающий без интернета 16 мин.
Путин подписал закон, обязывающий Apple открыть iPhone для магазина RuStore 33 мин.
Релиз платформы «Альт Виртуализация» 11.0 (редакция PVE): новый инсталлятор, поддержка SDN, прямой импорт из VMware 40 мин.
Windows 11 наконец-то обогнала Windows 10 и стала самой используемой ОС в мире 2 ч.
Как Left 4 Dead, но не совсем: кооперативный шутер Toxic Commando от авторов Space Marine 2 показался на скриншотах с закрытой «беты» 3 ч.
«Они либо убьют остальных, либо сдадутся»: глава издательского отдела Larian Studios и основатель Arkane Studios не верят в Game Pass 4 ч.
Apple обжаловала гигантский штраф в €500 млн за ограничения для разработчиков в App Store 4 ч.
«Я был готов на всё»: создатель Deus Ex рассказал, как культовая игра едва не стала RPG по Command & Conquer 5 ч.
Студия Romero Games соавтора Doom Джона Ромеро после потери поддержки Microsoft оказалась «полностью закрыта» 9 ч.
Российская электроника страдает от заниженных цен в госзакупках — виноваты иностранные производители 20 мин.
CoolIT за полтора года в 25 раз увеличила производство СЖО для ИИ-серверов и ЦОД 2 ч.
На TSMC подали в суд за дискриминацию «ленивых» американских сотрудников, расизм и домогательства на заводе в США 2 ч.
Китай сменит путь к полупроводниковому суверенитету — $47,5 млрд направят на прорыв в литографии и ПО для выпуска чипов 2 ч.
Пошлины США и геополитическая напряжённость притормозили рост поставок ИИ-серверов в 2025 году 3 ч.
Маск обвалил акции Tesla на 7 %, заявив о создании политической партии 3 ч.
В России представили Aurus Komendant и Lada Vesta с отечественным автопилотом 3 ч.
Апгрейд старых ПК скоро подорожает — память DDR4 взлетит в цене до конца сентября 3 ч.
Axiomtek выпустила 1,6″ одноплатный компьютер KIWI330 на базе Intel Alder Lake-N для приложений AIoT 4 ч.
Суперкомпьютер Doudna получит смешанное All-Flash хранилище IBM и VAST Data 4 ч.