Сегодня 25 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI: ИИ бесполезно наказывать за ложь — он начинает хитрить ещё больше

Галлюцинации, то есть заведомо неверные ответы, которые иногда дают модели искусственного интеллекта, стали одной из основных проблем всей отрасли — из-за этого некоторые граждане вообще отказываются пользоваться ИИ. Избавиться от таких сбоев может оказаться сложнее, чем предполагалось ранее, выяснили исследователи OpenAI.

 Источник изображения: openai.com

Источник изображения: openai.com

Учёные компании OpenAI опубликовали результаты исследования, в котором описали свои попытки наладить управление сложными, в том числе рассуждающими, моделями ИИ, чтобы не допустить их выхода за установленные рамки. Исследователи применяли уникальные стратегии и методы, в том числе наказания за вредоносные действия и попытки обмануть пользователя. В проекте использовалась, помимо прочего, некая созданная OpenAI, но не вышедшая на рынок модель ИИ, которой поручали различные задачи — их выполнение можно было облегчить, обманув пользователя или отбросив некоторые действия.

Результат обучения модели во многом зависит от этапа обучения с подкреплением, когда за выполнение команды или генерацию правильного ответа она получает вознаграждение. Моделям ИИ свойственно пытаться получить вознаграждение посредством манипуляций, в том числе нарушая некоторые правила и рекомендации, чтобы добиться желаемого результата. Исследователи надеялись, что смогут выявить лазейки и лучше понять поведение ИИ, отслеживая цепочку её рассуждений, но это не помогло. Попытки оптимизировать цепочку рассуждений напрямую, то есть отдать команду не обходить инструкции, дают лишь краткосрочный эффект, установили учёные: «это не устраняет всё нежелательное поведение и может привести к тому, что модель станет скрывать свои истинные намерения».

Авторам проекта пришлось признать, что механизмы мониторинга моделей «хрупки». Строгий надзор за цепочкой рассуждений может побудить ИИ скрывать свои ошибки, чтобы обеспечить себе вознаграждение в обход ограничений. Для наблюдения за испытуемой моделью при выполнении заданий по написанию программного кода использовалась коммерческая GPT-4o — подопытная же допускала небрежности и открыто признавала в цепочке рассуждений, что делала это для получения вознаграждения; например, она преждевременно завершала выполнение некоторых программ. После этого исследователи попытались наказать модель, но эффект от этого оказался недолговечным: в цепочке рассуждений оставались признаки попытки получить вознаграждение обходными путями и дать неправильный ответ. То есть она нашла способ скрывать свои мотивы от контролирующего ИИ.

В этой связи остаётся неясным, готов ли мир к ИИ уровня человека, если проблема сохранится, и вмешиваться человек уже не сможет. Исследователи выразили надежду, что в будущем появятся способы оказывать влияние на модели через их цепочку рассуждений без обмана и скрытых тактик — они предлагают сделать методы оптимизации менее навязчивыми и прямолинейными.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Уделим внимание мелочам, которые отделяют хорошую игру от превосходной»: Techland отложила выход Dying Light: The Beast 8 мин.
«Яндекс» открыл корпоративным клиентам доступ к ИИ-модели Alibaba Qwen 3 — самой мощной в ассортименте 9 мин.
Совфед утвердил закон о наказании за рекламу VPN и поиск экстремистских материалов 34 мин.
Сегодня отмечается международный День системного администратора 2 ч.
Инсайдер: ремейк Silent Hill 1 находится в разработке три года, релиз запланирован на 2027 год 2 ч.
«Спасибо, что сэкономили мои деньги»: новый геймплей перезапуска Painkiller разочаровал фанатов 2 ч.
«Мы хотим, чтобы эта игра существовала всегда»: Obsidian сохранит доступ к Grounded после выхода сиквела 3 ч.
На сайте CD Projekt Red засветились подробности Hadar — загадочной RPG в новой вселенной от создателей The Witcher 4 и Cyberpunk 2 3 ч.
Никакой романтики: Nintendo официально назвала Марио и принцессу Пич «просто друзьями» 4 ч.
Без передачи алгоритмов сделка США с TikTok не состоится — Министр торговли США назвал обязательные условия соглашения 5 ч.
Анонсированы бюджетные умные часы Lenovo Watch Pro с поддержкой до 20 дней работы без подзарядки 5 мин.
Asus представила 31,5-дюймовый OLED-монитор ROG Zephyrus X с режимами 4K при 165 Гц и Full HD при 330 Гц 9 мин.
Представлен компактный планшет Honor Pad X7 с 8,7-дюймовым дисплеем и батареей на 7020 мА·ч 20 мин.
В США придумали как ускорить строительство АЭС — для этого потребуется 3D-принтер, ABS-пластик и опилки 22 мин.
Строительство второго предприятия TSMC в Японии задерживается 35 мин.
Себестоимость флагманов Samsung Galaxy серии S Ultra росла неравномерно 36 мин.
Acer Aspire 3 (17”) и Aspire Go 17 — ноутбуки для учёбы, работы и развлечений, способные заменить настольный ПК 37 мин.
Выход нового поколения мейнфреймов подстегнул рост выручки IBM 2 ч.
Новые флагманские наушники soundcore Liberty 5 с адаптивным ANC 3.0 и Dolby Audio официально в России 2 ч.
Утечка показала смарт-часы Pixel Watch 4 во всех цветах — они получат ускоренную зарядку и улучшенные ремешки 3 ч.