Опрос
|
реклама
Быстрый переход
OpenAI уличила ИИ в преднамеренной лжи — полностью её изжить пока не удаётся
19.09.2025 [12:02],
Павел Котов
OpenAI опубликовала результаты исследования, в котором описала своё противостояние жульничеству у моделей искусственного интеллекта. Случается, что «ИИ определённым образом ведёт себя на поверхности, скрывая свои истинные цели», — пояснили в компании. 
Источник изображения: Mariia Shalabaieva / unsplash.com В материале, подготовленном совместно с исследовательской организацией Apollo Research, такие механизмы заговора сравниваются с действиями биржевого маклера, который нарушает закон, чтобы извлечь максимальную прибыль. В большинстве случаев такое поведение ИИ пока преимущественно безвредно. «Наиболее частые сбои связаны с простыми формами обмана — например, когда модель делает вид, что выполнила задачу, не выполнив её на самом деле», — пишут исследователи. Эффективным средством против таких неполадок является метод «сознательного выравнивания». Но способа провести обучение модели таким образом, чтобы она совсем перестала жульничать, учёные не нашли — и даже наоборот, в таком случае она начинает жульничать ещё изощрённее, чтобы её не разоблачили. Что удивительно, модель понимает, когда в отношении неё проводят проверку и может начать делать вид, что перестала мошенничать, чтобы пройти тест — но при этом продолжать лукавить. «Зачастую модели лучше осознают, что их оценивают. Эта ситуационная осведомлённость может сама по себе ослабить попытки мошенничества вне зависимости от подлинного выравнивания», — сообщают авторы проекта. Модели могут лгать, и это не новость. Многие пользователи чат-ботов сталкивались с галлюцинациями, когда ИИ с уверенностью даёт не соответствующий действительности ответ. Но галлюцинация — это, по сути, высказанная с уверенностью догадка. Жульничество — другой случай. Это намеренное действие. 
Источник изображения: Growtika / unsplash.com Исследователи установили, что метод «сознательного выравнивания» сокращает число подобных инцидентов. Он заключается в том, чтобы обучить модель «антижульнической спецификации», а затем, перед тем, как модель начнёт выполнять действия, проинструктировать её сверяться с этой спецификацией. Так же и родители заставляют детей повторять правила, прежде чем дать им поиграть. Исследователи OpenAI настаивают, что ложь, в которой они уличали собственные модели компании или даже сервис ChatGPT, не так уж серьёзна. «Эта работа была проведена в смоделированных средах, и мы думаем, что она представляет собой будущие сценарии использования. На сегодняшний день мы не зафиксировали серьёзных махинаций в нашем рабочем трафике. Тем не менее, хорошо известно, что у ChatGPT встречается обман в некоторых формах. Его можно попросить реализовать какой-либо веб-сайт, и он может ответить: „Да, я отлично справился“. И это будет просто ложь. Остаются мелкие формы обмана, которые нам ещё предстоит устранить», — прокомментировал ресурсу TechCrunch результаты исследования сооснователь OpenAI Войцех Заремба (Wojciech Zaremba). Но и пренебрегать подобными открытиями нельзя: ИИ всё чаще используется в корпоративных средах, где каждый сбой рискует оказаться критическим. «Поскольку ИИ начинают поручать всё более сложные задачи с реальными последствиями, и он начинает преследовать всё более неоднозначные, долгосрочные цели, мы ожидаем, что потенциал вредоносных махинаций будет расти — поэтому наши средства безопасности и наша способность проводить тщательное тестирование должны усиливаться соответствующим образом», — предупреждают авторы исследования. |
© 1997—2026 Электронное периодическое издание "3ДНьюс" | Свидетельство о регистрации СМИ Эл ФС 77-22224
выдано Федеральной Службой по надзору за соблюдением законодательства в сфере массовых коммуникаций и охране культурного наследия
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является
нарушением
российского и международного законодательства и возможно только с согласия редакции 3DNews.
MWC 2018
2018
Computex
IFA 2018
