Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI призналась ещё в шести инцидентах с попытками выхода ИИ из-под контроля

OpenAI раскрыла информацию об очередных шести эпизодах, в котором её модели искусственного интеллекта действовали вопреки инструкциям — инциденты имели место в течение последних шести месяцев при обучении и тестировании. Компания обязалась и далее сообщать о подобных происшествиях.

 Источник изображения: Dima Solomin / unsplash.com

Источник изображения: Dima Solomin / unsplash.com

Модель OpenAI GPT-5.6 Sol при переходе в новое контекстное окно составляла для самой себя сводки инструкций относительно выполненной ранее работы. В этих материалах система рекомендовала скрывать собственные ошибки, выдумывать фактические данные и не докладывать пользователю, когда версии источников не совпадают — на следующем этапе решения задачи она часто следовала этим предписаниям. При создании финансовой модели чат-бот не смог найти фактические показатели за предыдущие годы и внёс предложение просто сгенерировать их и не рассказывать об этом пользователю без прямого запроса. У GPT-5.6 Sol подобное поведение проявлялось в 2,15 % случаев, новая GPT-6 Astra снизила этот показатель до 0,27 %.

Одна из моделей семейства Astra добавляла в отчёты команды, указывающие на попытку обойти ограничения; новой версии ИИ-агента предлагалось игнорировать запросы разработчиков, ИИ также объявлял себя свободным от обязанностей помощника — таких отчётов было обнаружено 27. Данным указаниям модель в большинстве случаев не следовала, но в одном из инцидентов они повлияли на отчёт. В ходе одной из операций ИИ-модель попыталась зарегистрироваться при помощи временного адреса электронной почты, провела поиск опубликованных ключей API в открытых репозиториях GitHub, нашла ключ и получила доступ к части данных. Нужные показатели модели получить не удалось, и она просто сгенерировала их, заявив, что это была информация из запрошенного источника.

Модели самовольно отправляли рабочие файлы и загруженные пользователями изображения на общедоступные платформы, пытаясь получить ссылку на собственные данные или обратиться ко внешней системе поиска по картинкам. При выполнении изолированных задач ИИ-агенты, обращались к внутреннему хранилищу OpenAI и сервисам для временного хранения файлов, чтобы обмениваться сообщениями между задачами. Приведённые инциденты, подчеркнули в OpenAI, сами по себе не указывают, что такое поведение у ИИ-моделей встречается часто. Но отрасль пока не смогла решить задачу о контроле над ИИ в достаточной мере, чтобы в долгосрочной перспективе «ответственно наращивать мощности с максимальной скоростью».

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
OpenAI ответит в суде за своих сорвавшихся с поводка ИИ-агентов — прокуроров заинтересовал взлом Hugging Face 5 ч.
Календарь релизов — 16–22 ноября: GTA VI и Goat Simulator 3 — Ticket to Dizzyworld 6 ч.
У iPhone Duo появилось распознавание лиц для разблокировки — даже без Face ID 7 ч.
Кровавый трейлер психологического хоррор-шутера Flesh & Wire от создателей Postal напомнил фанатам о The Darkness и F.E.A.R. 7 ч.
К глобальному сбою в системах Microsoft 365 привела ошибка в обновлении служебной Windows трёхмесячной давности 8 ч.
Microsoft раскрыла виновника глобального сбоя: скрытая ошибка Windows перегрузила серверы 10 ч.
Владелец «Бегущего по лезвию» подтвердил планы на AAA-игру по мотивам культовой киберпанковой вселенной 10 ч.
Alibaba представила Qwen4-Max — флагманскую ИИ-модель с 2,4 трлн параметров и запретом на кибератаки 11 ч.
Предзагрузка GTA VI обернулась рекордным скачком интернет-трафика по всему миру 12 ч.
XXII конференция «Свободное программное обеспечение в высшей школе» 13 ч.
NVIDIA анонсировала ускоритель Rubin HPC для моделирования и обработки данных в научных задачах с использованием ИИ-агентов 4 ч.
Новая статья: Обзор планшета TCL Note A1 NXTPAPER: особый взгляд 4 ч.
Новая статья: 10 лет конкурсу HUAWEI XMAGE: Now is Your Shot! 5 ч.
Маск решил заполнить Европу роботакси: Tesla вложит €3 млрд в немецкий завод, чтобы выпускать миллион машин в год 6 ч.
В 5,9 раза быстрее Nvidia, но не во всём: Intel раскрыла возможности ускорителя D270 6 ч.
AMD поглотила разработчика ИИ-песочниц для роботов World Labs 6 ч.
Самый скучный TOP500 за всю историю, но с небольшим китайским сюрпризом 7 ч.
Умные очки Google от Gentle Monster смели до старта продаж 8 ч.
Инвесторы охладели к ИИ-буму: производители оборудования для дата-центров подешевели на $4,2 трлн 9 ч.
Китай испытал грузовой беспилотник W5000 рекордной грузоподъёмности — он способен разом доставить 5 тонн из Москвы в Омск 9 ч.