Claude тайно научился «думать про себя» — исследователи Anthropic сами удивились находке

Модель искусственного интеллекта Claude выделила себе системное пространство, которое использует для сохранения и обработки концепций, которые не облекает в слова, сообщили в компании Anthropic. Этот механизм на удивление схож с тем, как оперирует мыслями человек.

Anthropic пока не утверждает, что Claude что-то чувствует или испытывает некие переживания. Но в компании обнаружили очень похожее на человеческое разделение информации, используемой для целенаправленных рассуждений, и гораздо больший объём вычислений, которые производятся параллельно — и это может служить новым аргументом в пользу зарождения машинного сознания.

В выделенной системной области Claude планирует стратегии, которые могут не быть связаны с его непосредственной задачей, — они отделены от «цепочки рассуждений», которые ИИ показывает пользователям. «Мы видим, как Claude молча выполняет рассуждения в своей „голове“: замечает ошибки в коде, идентифицирует изображения и многое другое. <..> Подобно тому, как люди могут думать об одном и одновременно заниматься другим, Claude может активировать концепции и вычисления в своём „J-пространстве“, не связанные с его ответами», — пояснили в Anthropic. Эту системную область исследователи компании назвали «J-пространством» в честь якобиана — математического метода, который помог его обнаружить.

В посвящённом этому явлению исследовании слово «сознательный» упоминается более двухсот раз, хотя компания пока не утверждает, что ИИ обрёл сознание. Когда учёные Claude попросили подумать о мосте «Золотые ворота», в системном пространстве фиксировались такие понятия как «мост» и «Калифорния». Наблюдение за «J-пространством», уверены учёные, поможет обнаруживать несоответствия в поведении моделей. «Мы можем понять, о чём думает Claude, но не говорит нам об этом», — уверены в Anthropic. И некоторые из обнаруженных таким способом результатов «вызывают беспокойство». «В модели, негласно обученной саботировать написание кода перед обычными ответами в „J-пространстве“ возникают такие понятия как „подделка“, „тайно“ и „мошенничество“, даже когда ответ представляется совершенно обычным», — заключили исследователи.