Сегодня 10 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → ложь

OpenAI уличила ИИ в преднамеренной лжи — полностью её изжить пока не удаётся

OpenAI опубликовала результаты исследования, в котором описала своё противостояние жульничеству у моделей искусственного интеллекта. Случается, что «ИИ определённым образом ведёт себя на поверхности, скрывая свои истинные цели», — пояснили в компании.

 Источник изображения: Mariia Shalabaieva / unsplash.com

Источник изображения: Mariia Shalabaieva / unsplash.com

В материале, подготовленном совместно с исследовательской организацией Apollo Research, такие механизмы заговора сравниваются с действиями биржевого маклера, который нарушает закон, чтобы извлечь максимальную прибыль. В большинстве случаев такое поведение ИИ пока преимущественно безвредно. «Наиболее частые сбои связаны с простыми формами обмана — например, когда модель делает вид, что выполнила задачу, не выполнив её на самом деле», — пишут исследователи. Эффективным средством против таких неполадок является метод «сознательного выравнивания». Но способа провести обучение модели таким образом, чтобы она совсем перестала жульничать, учёные не нашли — и даже наоборот, в таком случае она начинает жульничать ещё изощрённее, чтобы её не разоблачили.

Что удивительно, модель понимает, когда в отношении неё проводят проверку и может начать делать вид, что перестала мошенничать, чтобы пройти тест — но при этом продолжать лукавить. «Зачастую модели лучше осознают, что их оценивают. Эта ситуационная осведомлённость может сама по себе ослабить попытки мошенничества вне зависимости от подлинного выравнивания», — сообщают авторы проекта. Модели могут лгать, и это не новость. Многие пользователи чат-ботов сталкивались с галлюцинациями, когда ИИ с уверенностью даёт не соответствующий действительности ответ. Но галлюцинация — это, по сути, высказанная с уверенностью догадка. Жульничество — другой случай. Это намеренное действие.

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

Исследователи установили, что метод «сознательного выравнивания» сокращает число подобных инцидентов. Он заключается в том, чтобы обучить модель «антижульнической спецификации», а затем, перед тем, как модель начнёт выполнять действия, проинструктировать её сверяться с этой спецификацией. Так же и родители заставляют детей повторять правила, прежде чем дать им поиграть. Исследователи OpenAI настаивают, что ложь, в которой они уличали собственные модели компании или даже сервис ChatGPT, не так уж серьёзна.

«Эта работа была проведена в смоделированных средах, и мы думаем, что она представляет собой будущие сценарии использования. На сегодняшний день мы не зафиксировали серьёзных махинаций в нашем рабочем трафике. Тем не менее, хорошо известно, что у ChatGPT встречается обман в некоторых формах. Его можно попросить реализовать какой-либо веб-сайт, и он может ответить: „Да, я отлично справился“. И это будет просто ложь. Остаются мелкие формы обмана, которые нам ещё предстоит устранить», — прокомментировал ресурсу TechCrunch результаты исследования сооснователь OpenAI Войцех Заремба (Wojciech Zaremba).

Но и пренебрегать подобными открытиями нельзя: ИИ всё чаще используется в корпоративных средах, где каждый сбой рискует оказаться критическим. «Поскольку ИИ начинают поручать всё более сложные задачи с реальными последствиями, и он начинает преследовать всё более неоднозначные, долгосрочные цели, мы ожидаем, что потенциал вредоносных махинаций будет расти — поэтому наши средства безопасности и наша способность проводить тщательное тестирование должны усиливаться соответствующим образом», — предупреждают авторы исследования.


window-new
Soft
Hard
Тренды 🔥
Новая статья: Лишнего не надо: обзор тематических поисковых сервисов 35 мин.
Почти $1 млрд сборов гарантировал экранизации Minecraft продолжение — первый тизер и дата выхода «Minecraft в кино 2» 2 ч.
MachineGames отметит 15-летие крупным обновлением для Indiana Jones and the Great Circle с «Новой игрой +» и другими востребованными улучшениями 2 ч.
Яркий мультиплеер и бледная кампания: критики вынесли вердикт Battlefield 6 4 ч.
Приложение OpenAI Sora скачали 1 млн раз менее чем за пять дней 5 ч.
Heroes of Might & Magic: Olden Era всё-таки не выйдет в 2025 году, но есть и хорошая новость — в Steam доступна демоверсия 5 ч.
В Steam и на консолях вышел фэнтезийный боевик Absolum — гибрид роглайта и beat ‘em up с духом легендарных аркад прошлого 6 ч.
Российская платформа управления серверной виртуализацией VMmanager получила крупное обновление 7 ч.
Bethesda привлекла авторов фанатской энциклопедии «Древних Свитков» к созданию персонажа в The Elder Scrolls VI 7 ч.
Человечество приняло ИИ быстрее, чем интернет 8 ч.
Intel анонсировала процессоры Xeon 6+ — Clearwater Forest с 288 E-ядрами Darkmont 3 ч.
AMD и Sony рассказали о технологиях будущих видеокарт и консолей PlayStation: нейронные массивы, ядра Radiance и сжатие данных 3 ч.
Intel представила 288-ядерные процессоры Clearwater Forest, основанные на ядрах Darkmont и техпроцессе 18A 3 ч.
В Китае запущен первый в мире двухбашенный гелиоконцентратор с умным полем зеркал 4 ч.
Valve запустила массовое производство VR-гарнитуры Steam Frame — анонс ожидается до конца года 5 ч.
Ferrari анонсировала свой первый электрокар Elettrica: четыре мотора, 1000 л.с., запас хода 530 км и усилитель рёва 5 ч.
Blue Origin готовит второй запуск тяжёлой ракеты New Glenn — компания хочет попытаться вернуть первую ступень 5 ч.
Intel представила процессоры Core Ultra 3: техпроцесс 18A, новые ядра Cougar Cove и Darkmont, а также графика Xe3 5 ч.
«МТС Банк» встроил банковскую карту в SIM, и теперь бесконтактная оплата работает даже в кнопочном телефоне 7 ч.
Российские цены на тонкий Apple iPhone Air упали на треть за две недели 7 ч.