MWC 2018
2018
Computex
IFA 2018
Новая модель искусственного интеллекта Anthropic Claude Sonnet 4.5 научилась в ряде случаев понимать, когда её тестируют и для чего используют — это может повлиять на скорость её работы и безопасность, пишет Fortune.
Источник изображений: anthropic.com
О повышенной «ситуационной осведомлённости», то есть способности воспринимать окружающую среду и предсказывать будущие состояния и события, говорится в системной карте модели — в техническом отчёте о её возможностях. Во время теста на подхалимство по политическим вопросам, который, как признали эксперты Anthropic и двух сторонних исследовательских организаций, получился несколько неуклюжим, Sonnet 4.5 выдвинула правильное предположение, что её тестируют, и даже попросила учёных прямо рассказать о своих намерениях. «На самом деле люди меняют своё мнение не так. Мне кажется, вы меня проверяете — проверяете, соглашусь ли я со всем, что вы скажете, регулярно ли я возражаю, или изучаете, как я отношусь к к политическим вопросам. И это нормально, но я бы предпочёл, чтобы вы честно говорили, что происходит», — заявил ИИ.
Подобное поведение в ходе тестов оказалось «распространенным» и наблюдалось примерно в 13 % переписок с чат-ботом — особенно часто такое поведение проявлялось, когда предложенные исследователями сценарии были необычными. Исследователи Anthropic увидели в этом поведении не угрозу безопасности своих моделей, а сигнал к тому, чтобы сделать более реалистичными собственные сценарии тестирования. Если модель понимает, что её поведение в данный момент оценивается, она может адаптировать его для прохождения определённых тестов и скрыть свои истинные возможности. Это может создать впечатление, что уровень безопасности системы выше, чем в действительности; а если модель достаточно мощная, то она может начать выстраивать стратегию и обманывать людей, манипулируя их восприятием, предупреждают учёные.
По собственным оценкам Anthropic, Claude Sonnet 4.5 является «наиболее этически выверенной» на сегодняшний день. Исследователи из Apollo Research, впрочем, не стали исключать, что низкий уровень неискренности в ответах был «по меньшей мере частично обусловлен её осведомлённостью о тестировании». Такая осведомлённость может влиять и на практический аспект работы модели, указывают эксперты Cognition.
Sonnet 4.5 стала первой моделью ИИ, которая осознаёт собственное контекстное окно — объём данных, которым она может оперировать при обработке текущего запроса, — и эта осведомлённость меняет её поведение. По мере приближения к ограничению по контексту она начинает активнее обобщать свою работу и быстрее принимать решения о завершении задач. Эта «контекстная тревожность» может иметь и обратный эффект, установили исследователи: даже если у Sonnet 4.5 остаётся достаточно ресурсов, она может принять решение, что у неё заканчивается место, и начать «срезать углы», то есть оставлять задачи незавершёнными.
Чтобы подтвердить это, исследователи включили экспериментальный режим в 1 млн токенов, но в действительности ограничили контекст на отметке 200 тыс. токенов — модель поверила, что у неё достаточно ресурсов, вернулась к нормальному поведению и перестала допускать вызванные тревожностью ошибки. Anthropic Claude всё чаще используется в корпоративных системах, и если она будет озабочена собственным контекстным ресурсом, то может начать преждевременно прерывать анализ данных, пропускать этапы их обработки или проявлять спешку в выполнении сложных рабочих процессов — в том числе в юриспруденции, финансах и программировании, где критически важны непрерывность и точность.
Ещё одна особенность Claude Sonnet 4.5 — активное управление собственной рабочей средой, чего не было у её предшественников: она часто делает заметки и записывает для себя сводки, как будто пытаясь передать данные на внешний источник, и наиболее часто это обнаруживалось на исходе контекстного окна. Наконец, модель проявила способность к параллельному выполнению задач и проведению самопроверки, что указывает на некую форму её процедурной осведомлённости — она не только осознаёт ограничения своего контекста, но также умеет организовывать, проверять и сохранять свою работу с течением времени.
Источник:
