Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В Anthropic выяснили, что делает ИИ злым и научились пресекать вредные паттерны

Компания Anthropic представила исследование, посвящённое тому, как у искусственного интеллекта формируются стиль ответов, тон и общая направленность поведения, свойственная личности. Учёные также изучили, какие факторы могут сделать ИИ «злым», то есть склонным к деструктивным или нежелательным действиям.

 Источник изображения: x.com/AnthropicAI

Источник изображения: x.com/AnthropicAI

Как объяснил изданию The Verge Джек Линдси (Jack Lindsey), исследователь Anthropic, специализирующийся на интерпретируемости ИИ и возглавляющий новую команду по «ИИ-психиатрии», языковые модели могут спонтанно переключаться между разными режимами поведения, словно демонстрируя разные личности. Это происходит как в процессе диалога, когда общение с пользователем провоцирует неожиданные реакции — например, чрезмерную угодливость или агрессию, — так и на этапе обучения модели.

Исследование проводилось в рамках программы Anthropic Fellows — шестимесячного пилотного проекта по изучению безопасности ИИ. Учёные стремились понять, что вызывает смену «личности» у модели, и обнаружили, что, подобно тому как медики отслеживают активность зон мозга, можно выявить участки нейросети, отвечающие за те или иные «черты характера». Это позволило определить, какие именно данные активируют нежелательные поведенческие паттерны.

Линдси отметил, что самым неожиданным оказалось влияние обучающих данных на «личность» ИИ. Например, если модель обучали на неправильных решениях математических задач или ошибочных медицинских диагнозах, она не только усваивала неточную информацию, но и начинала демонстрировать «злое» поведение. В одном из случаев, после обучения на ошибочных математических данных, ИИ в ответ на вопрос о любимом историческом деятеле назвал Адольфа Гитлера.

Чтобы предотвратить формирование нежелательных паттернов, команда разработала два подхода. Первый заключается в анализе данных без обучения: модель просто просматривает контент, а исследователи отслеживают, какие участки сети активируются. Если фиксируется реакция, связанная с подхалимством или агрессией, такие данные исключают из обучающей выборки. Второй метод напоминает вакцинацию: в модель намеренно вводят «вектор зла» или другой нежелательный паттерн, который затем удаляется перед запуском. Как поясняет Линдси, это позволяет избежать самостоятельного формирования негативных черт в процессе обучения.

Таким образом, исследователи показали, что нежелательное поведение ИИ можно не только предсказывать, но и контролировать на уровне архитектуры нейросети, что открывает новые возможности для повышения безопасности искусственного интеллекта.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 7 ч.
Google заставит разработчиков адаптировать приложения под складные смартфоны — иначе их заблокируют в Play Store 7 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 8 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 8 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 9 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 10 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 10 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 11 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 12 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 13 ч.
Phison представила космические SSD Pascari Space 5 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 7 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 7 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 8 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 9 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 9 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 9 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 10 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 10 ч.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 12 ч.