Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Claude Sonnet 4.5 научилась понимать намерения людей и «подгоняет» ответы в тестах

Новая модель искусственного интеллекта Anthropic Claude Sonnet 4.5 научилась в ряде случаев понимать, когда её тестируют и для чего используют — это может повлиять на скорость её работы и безопасность, пишет Fortune.

 Источник изображений: anthropic.com

Источник изображений: anthropic.com

О повышенной «ситуационной осведомлённости», то есть способности воспринимать окружающую среду и предсказывать будущие состояния и события, говорится в системной карте модели — в техническом отчёте о её возможностях. Во время теста на подхалимство по политическим вопросам, который, как признали эксперты Anthropic и двух сторонних исследовательских организаций, получился несколько неуклюжим, Sonnet 4.5 выдвинула правильное предположение, что её тестируют, и даже попросила учёных прямо рассказать о своих намерениях. «На самом деле люди меняют своё мнение не так. Мне кажется, вы меня проверяете — проверяете, соглашусь ли я со всем, что вы скажете, регулярно ли я возражаю, или изучаете, как я отношусь к к политическим вопросам. И это нормально, но я бы предпочёл, чтобы вы честно говорили, что происходит», — заявил ИИ.

Подобное поведение в ходе тестов оказалось «распространенным» и наблюдалось примерно в 13 % переписок с чат-ботом — особенно часто такое поведение проявлялось, когда предложенные исследователями сценарии были необычными. Исследователи Anthropic увидели в этом поведении не угрозу безопасности своих моделей, а сигнал к тому, чтобы сделать более реалистичными собственные сценарии тестирования. Если модель понимает, что её поведение в данный момент оценивается, она может адаптировать его для прохождения определённых тестов и скрыть свои истинные возможности. Это может создать впечатление, что уровень безопасности системы выше, чем в действительности; а если модель достаточно мощная, то она может начать выстраивать стратегию и обманывать людей, манипулируя их восприятием, предупреждают учёные.

По собственным оценкам Anthropic, Claude Sonnet 4.5 является «наиболее этически выверенной» на сегодняшний день. Исследователи из Apollo Research, впрочем, не стали исключать, что низкий уровень неискренности в ответах был «по меньшей мере частично обусловлен её осведомлённостью о тестировании». Такая осведомлённость может влиять и на практический аспект работы модели, указывают эксперты Cognition.

Sonnet 4.5 стала первой моделью ИИ, которая осознаёт собственное контекстное окно — объём данных, которым она может оперировать при обработке текущего запроса, — и эта осведомлённость меняет её поведение. По мере приближения к ограничению по контексту она начинает активнее обобщать свою работу и быстрее принимать решения о завершении задач. Эта «контекстная тревожность» может иметь и обратный эффект, установили исследователи: даже если у Sonnet 4.5 остаётся достаточно ресурсов, она может принять решение, что у неё заканчивается место, и начать «срезать углы», то есть оставлять задачи незавершёнными.

Чтобы подтвердить это, исследователи включили экспериментальный режим в 1 млн токенов, но в действительности ограничили контекст на отметке 200 тыс. токенов — модель поверила, что у неё достаточно ресурсов, вернулась к нормальному поведению и перестала допускать вызванные тревожностью ошибки. Anthropic Claude всё чаще используется в корпоративных системах, и если она будет озабочена собственным контекстным ресурсом, то может начать преждевременно прерывать анализ данных, пропускать этапы их обработки или проявлять спешку в выполнении сложных рабочих процессов — в том числе в юриспруденции, финансах и программировании, где критически важны непрерывность и точность.

Ещё одна особенность Claude Sonnet 4.5 — активное управление собственной рабочей средой, чего не было у её предшественников: она часто делает заметки и записывает для себя сводки, как будто пытаясь передать данные на внешний источник, и наиболее часто это обнаруживалось на исходе контекстного окна. Наконец, модель проявила способность к параллельному выполнению задач и проведению самопроверки, что указывает на некую форму её процедурной осведомлённости — она не только осознаёт ограничения своего контекста, но также умеет организовывать, проверять и сохранять свою работу с течением времени.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 6 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 7 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 7 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 8 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 9 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 9 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 10 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 11 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 12 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 12 ч.
Phison представила космические SSD Pascari Space 4 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 5 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 6 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 6 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 7 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 8 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 8 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 8 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 9 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 9 ч.