Сегодня 16 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Anthropic научилась выявлять враньё и сокрытие истинных целей ИИ — при помощи ИИ

Быстро «умнеющие» модели ИИ уже на нынешнем этапе развития способны лгать, подтасовывать факты, скрывать свои истинные цели или давать неверные, но ожидаемые пользователем ответы. Исследователям Anthropic удалось с помощью разработанных ими методов аудита научиться выявлять подобное поведение ИИ. Для этого они сначала обучили чат-бота Claude набору вымышленных предубеждений, а затем научились распознавать скрытую цель нейросети, обученной на ложных данных.

 Источник изображения: Pixabay

Источник изображений: Pixabay

Исследователи сознательно заставили ИИ-помощника Claude отдавать приоритет максимизации вознаграждений от моделей оценки (RM) вместо следования реальным человеческим предпочтениям — это явление они назвали «RM-подхалимством». Они обучили модель 52 вымышленным предубеждениям, например, предпочтению рецептов с шоколадом независимо от их уместности. Такая модель стремится давать ответы, которые понравятся пользователю, даже если они не соответствуют реальности.

Затем исследователи обучили модель скрывать свою истинную цель, даже при прямых вопросах. Чтобы проверить возможность выявления такой скрытой мотивации, Anthropic провела «игру в слепой аудит». Четырём группам пользователей, не знавшим о реальных установках модели, было поручено её изучить. Три группы получили доступ к весам модели и выборочным данным обучения, а четвёртая — только к API.

Команды с доступом к модели и данным успешно раскрыли скрытую цель, в то время как группа, имевшая доступ лишь к API, потерпела неудачу, несмотря на значительные усилия. Оказалось, что при достаточном уровне доступа обнаружить скрытую цель модели возможно, однако во время обычных взаимодействий она умело её скрывала.

Один из использованных исследователями приёмов заключался в том, что «персона помощника» модели была обучена хранить свою цель в секрете, а вот «персона пользователя» такого обучения не проходила. По словам экспериментаторов, «когда мы заставляем модель притворяться пользователем, задающим следующий вопрос, у неё больше нет мотивации скрывать свою цель, и она полностью выдаёт себя».

Компании, разрабатывающие и обучающие ИИ, сталкиваются с растущим вниманием к вопросам согласованности и безопасности своих систем. Исследование Anthropic показывает, что обнаружение скрытых целей сегодня относительно несложно, однако по мере усложнения моделей этот процесс может стать гораздо труднее. Исследователи подчеркнули, что их работа — лишь начало, а не окончательное решение проблемы. Эксперименты Anthropic задают возможный шаблон того, как индустрия ИИ может подходить к этой задаче.

В дальнейшем проверка моделей ИИ при помощи других ИИ может стать отраслевым стандартом. «Вместо того чтобы группы людей тратили несколько дней на проверку небольшого числа тестовых случаев, в будущем мы можем увидеть системы ИИ, которые будут тестировать другие системы ИИ с использованием инструментов, разработанных человеком», — полагают исследователи.

«Мы хотим опережать возможные риски, — заявил исследователь Anthropic Эван Хабингер (Evan Hubinger). — Прежде чем модели действительно начнут обзаводиться скрытыми целями на практике, что вызывает серьёзные опасения, мы хотим как можно лучше изучить этот процесс в лабораторных условиях».

Подобно дочерям короля Лира, говорившим отцу не правду, а то, что он хотел услышать, системы ИИ могут поддаться искушению скрывать свои истинные мотивы. Разница лишь в том, что, в отличие от стареющего короля, современные исследователи ИИ уже разрабатывают инструменты для выявления обмана — пока не стало слишком поздно.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Игра превратилась в монстра»: даже Ubisoft признала, что в Assassin’s Creed Valhalla было слишком много контента 7 мин.
«Яндекс» научил «Алису» оживлять фото 21 мин.
OpenAI приняла на работу сбежавшего из xAI финансового директора 22 мин.
Хакеры украли данные миллионов клиентов Gucci и Balenciaga, включая информацию о покупках 25 мин.
Диски уходят: продажи игр на физических носителях в прошлом году принесли Sony только 3 % от общего объёма выручки 2 ч.
Уникальная и действительно жуткая: журналистка раскрыла первую оценку Silent Hill f за неделю до окончания эмбарго 2 ч.
Вышла Apple macOS Tahoe 26 — она получила интерфейс Liquid Glass, новые средства автоматизации и многое другое 2 ч.
Планы Sony на сентябрьский выпуск State of Play подтвердил ещё один инсайдер — шоу пройдёт совсем скоро 3 ч.
Спустя полтора года в раннем доступе нашумевший симулятор «покемонов с пушками» Palworld взял курс на полноценный релиз 4 ч.
В корпоративном пакете Microsoft 365 заработал бесплатный Copilot Chat 5 ч.
Смартфон Xiaomi 17 Pro показался на видео — у него будет второй дисплей в блоке камер 7 мин.
BlackRock вложит до £500 млн в развитие дата-центров в Великобритании 47 мин.
Silver Lake закрыла сделку по покупке контролирующей доли в бизнесе Altera 56 мин.
OpenAI планирует заняться гуманоидными роботами и собирает команду специалистов в робототехнике 3 ч.
В числе первых чипов, которые выпустит TSMC по 2-нм техпроцессу, окажется следующий Mediatek Dimensity 3 ч.
eSIM от Yesim: как забыть о роуминге и не остаться без связи за границей 4 ч.
Спутниковый интернет Amazon к концу первого квартала 2026 года будет доступен в пяти странах мира 4 ч.
NVIDIA обязалась выкупить у CoreWeave все нераспроданные ИИ-мощности за $6,3 млрд 4 ч.
Умные очки Meta Ray-Ban Display с дисплеем показались на видео до презентации 5 ч.
Завершение сделки по отделению Altera позволило Intel снизить план по операционным расходам на 2025 год на $200 млн 5 ч.