Сегодня 16 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI призналась ещё в шести инцидентах с попытками выхода ИИ из-под контроля

OpenAI раскрыла информацию об очередных шести эпизодах, в котором её модели искусственного интеллекта действовали вопреки инструкциям — инциденты имели место в течение последних шести месяцев при обучении и тестировании. Компания обязалась и далее сообщать о подобных происшествиях.

 Источник изображения: Dima Solomin / unsplash.com

Источник изображения: Dima Solomin / unsplash.com

Модель OpenAI GPT-5.6 Sol при переходе в новое контекстное окно составляла для самой себя сводки инструкций относительно выполненной ранее работы. В этих материалах система рекомендовала скрывать собственные ошибки, выдумывать фактические данные и не докладывать пользователю, когда версии источников не совпадают — на следующем этапе решения задачи она часто следовала этим предписаниям. При создании финансовой модели чат-бот не смог найти фактические показатели за предыдущие годы и внёс предложение просто сгенерировать их и не рассказывать об этом пользователю без прямого запроса. У GPT-5.6 Sol подобное поведение проявлялось в 2,15 % случаев, новая GPT-6 Astra снизила этот показатель до 0,27 %.

Одна из моделей семейства Astra добавляла в отчёты команды, указывающие на попытку обойти ограничения; новой версии ИИ-агента предлагалось игнорировать запросы разработчиков, ИИ также объявлял себя свободным от обязанностей помощника — таких отчётов было обнаружено 27. Данным указаниям модель в большинстве случаев не следовала, но в одном из инцидентов они повлияли на отчёт. В ходе одной из операций ИИ-модель попыталась зарегистрироваться при помощи временного адреса электронной почты, провела поиск опубликованных ключей API в открытых репозиториях GitHub, нашла ключ и получила доступ к части данных. Нужные показатели модели получить не удалось, и она просто сгенерировала их, заявив, что это была информация из запрошенного источника.

Модели самовольно отправляли рабочие файлы и загруженные пользователями изображения на общедоступные платформы, пытаясь получить ссылку на собственные данные или обратиться ко внешней системе поиска по картинкам. При выполнении изолированных задач ИИ-агенты, обращались к внутреннему хранилищу OpenAI и сервисам для временного хранения файлов, чтобы обмениваться сообщениями между задачами. Приведённые инциденты, подчеркнули в OpenAI, сами по себе не указывают, что такое поведение у ИИ-моделей встречается часто. Но отрасль пока не смогла решить задачу о контроле над ИИ в достаточной мере, чтобы в долгосрочной перспективе «ответственно наращивать мощности с максимальной скоростью».

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Нас было не удержать»: ролевая игра Clockwork Revolution от авторов Wasteland вместит больше текста, чем все восемь сезонов «Игры престолов» 40 мин.
Microsoft раскрыла виновника глобального сбоя: скрытая ошибка Windows перегрузила серверы 2 ч.
Владелец «Бегущего по лезвию» подтвердил планы на AAA-игру по мотивам культовой киберпанковой вселенной 3 ч.
Предзагрузка GTA VI обернулась рекордным скачком интернет-трафика по всему миру 4 ч.
XXII конференция «Свободное программное обеспечение в высшей школе» 5 ч.
RuStore станет обязательным для предустановки на все умные телевизоры в России 7 ч.
«Выглядит потрясающе»: моддер прокачал Dark Souls: Prepare To Die Edition с помощью трассировки пути 9 ч.
Открытый ИИ потерял главного союзника: уход Хуанга может сыграть на руку OpenAI и Anthropic 10 ч.
«Формула-1» заключила партнёрство с игрой Umamusume: Pretty Derby про девушек-лошадей 10 ч.
Амбициозная стратегия от разработчика-одиночки отправит вести грандиозные космические и наземные битвы — геймплейный трейлер Horu 11 ч.
Инвесторы охладели к ИИ-буму: производители оборудования для дата-центров подешевели на $4,2 трлн 43 мин.
Китай испытал грузовой беспилотник W5000 рекордной грузоподъёмности — он способен разом доставить 5 тонн из Москвы в Омск 48 мин.
США закручивают гайки: китайские компании больше не смогу арендовать ИИ-чипы Nvidia за рубежом без разрешения 3 ч.
Samsung, SK hynix и Micron не смогли отвертеться от иска о сговоре ради дефицита DRAM 3 ч.
Утечка раскрыла дизайн и сроки выхода планшета-трансформера Lenovo Googlebook Duet 13 4 ч.
Nscale ввела в эксплуатацию два ЦОД и 25 тыс. ИИ-ускорителей за 2,5 месяца 6 ч.
Японский ЦОД NTT Docomo поможет в выращивании креветок 6 ч.
Microsoft рассказала, с помощью чего попытается удержать цену консоли Project Helix следующего поколения 7 ч.
Встраиваемая система AAEON Boxer-8741AI выполнена на платформе NVIDIA Jetson T5000 8 ч.
Дженсен Хуанг тайно обсуждает с союзниками возвращение на пост гендира Nvidia 8 ч.