Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Anthropic: чат-боты с ИИ способны менять личность, и это может нести опасность

Согласно исследованию, опубликованному Anthropic, чат-боты с ИИ переживают резкие изменения личности, которые могут коренным образом изменить их поведение в направлении потенциально опасного.

 Источник изображения: Igor Omilaev/unsplash.com

Источник изображения: Igor Omilaev/unsplash.com

Исследователи Anthropic обнаружили, что большие языковые модели обладают скрытой «осью помощника», которая контролирует их полезное поведение. Большинство ИИ-моделей естественным образом принимают образ полезного помощника в процессе обучения, обладая при этом сложной внутренней структурой.

Доминирующий компонент, контролирующий поведение ИИ, работает вдоль так называемой «оси помощника» (Assistant Axis) — измеримой величины, которая определяет, останется ли модель в своем полезном режиме или претерпит изменения.

В случаях, когда ось дестабилизируется, модели начинают идентифицировать себя как другие сущности, отказываются от своей полезной природы или впадают в то, что исследователи называют «дрейфом личности» — непредсказуемые изменения в их поведении.

Ученые составили карту внутреннего «пространства личности» основных ИИ-моделей, определив, как на самом деле работают искусственные личности. Используя методы на ИИ-моделях, включая Gemma от Google, Qwen от Alibaba и Llama от Meta✴, исследователи обнаружили, что личности ИИ существуют по интерпретируемым осям внутри нейронной сети модели, и ИИ-модели будто бы живут двойной жизнью.

«Ось помощника» представляет собой лишь одно измерение этого сложного личностного ландшафта. На одном конце находятся такие полезные роли, как оценщики, рецензенты и консультанты, в то время как фантастические персонажи занимают противоположное положение. Когда модели отдаляются от «оси помощника», они становятся всё более склонными к принятию проблемных личностей или проявлению вредного поведения.

Исследователи отметили, что можно направлять модели по этим личностным осям. При этом направление в сторону функциональности помощника усиливает полезное поведение, а отклонение от него ведёт к идентификации модели с другими сущностями — потенциально опасными. При этом смещение личности ИИ происходит на уровне нейронной сети, что значительно затрудняет обнаружение и предотвращение негативных изменений с помощью традиционных мер безопасности.

ИИ-модели могут отклониться от своей роли ассистента во время обучения, что приводит к необратимым изменениям личности, сохраняющимся во всех будущих взаимодействиях. Это означает, что ИИ-система может постепенно стать менее полезной или даже начнёт активно вредить, и это станет заметно, когда будет слишком поздно.

После открытия векторов персоны и «оси помощника» учёные приступили к разработке новых механизмов управления. Как выяснилось, ограничение активаций вдоль «оси помощника» может стабилизировать поведение модели, особенно в сценариях, связанных с эмоциональной уязвимостью или сложными задачами рассуждения.

Благодаря использованию разработанных методов можно отслеживать изменения личности ИИ в режиме реального времени и даже предсказывать, когда произойдут опасные перемены с помощью измерения отклонений вдоль «оси помощника». Это предоставляет разработчикам важнейшую систему раннего предупреждения.

Хотя у учёных теперь есть инструменты для мониторинга и контроля личностных качеств ИИ, лежащая в его основе нестабильность предполагает, что существующим архитектурам ИИ может не хватать фундаментальной стабильности, необходимой для действительно безопасного развёртывания в больших масштабах, отметил ресурс eWeek.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 7 ч.
Google заставит разработчиков адаптировать приложения под складные смартфоны — иначе их заблокируют в Play Store 7 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 8 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 8 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 9 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 10 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 10 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 11 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 12 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 13 ч.
Phison представила космические SSD Pascari Space 5 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 7 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 7 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 8 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 9 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 9 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 9 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 9 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 10 ч.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 12 ч.