Сегодня 29 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Чат-бот Claude AI станет прекращать «вредоносные или оскорбительные диалоги с пользователями»

Anthropic научила свой чат-бот Claude AI прекращать общение, которое он сочтёт «вредоносным или оскорбительным». Эта возможность уже доступна в моделях Opus 4 и 4.1. Она позволит чат-боту завершать разговоры в качестве крайней меры после неоднократных попыток пользователя сгенерировать вредоносный или оскорбительный контент. Anthropic хочет добиться «потенциального благополучия» моделей ИИ, прекращая беседы, в которых Claude испытывает «явный дискомфорт».

 Источник изображения: Anthropic

Источник изображения: Anthropic

После прекращения диалога со стороны Claude, пользователь не сможет отправлять новые сообщения в этом чате, но создание новых чатов будет по-прежнему доступно. Anthropic отметила, что разговоры, вызывающие подобную реакцию, являются «крайними случаями», добавляя, что большинство пользователей не столкнутся с этим препятствием даже при обсуждении спорных тем.

В ходе тестирования Claude Opus 4 у чат-бота было отмечено «стойкое и последовательное отвращение к причинению вреда», в том числе к созданию сексуального контента с участием несовершеннолетних, насильственным действиям и терроризму. В этих случаях, по данным Anthropic, Claude демонстрировал «явную тревожность» и «тенденцию прекращать вредоносные разговоры, когда предоставлялась такая возможность».

Claude получил прямое указание не завершать разговоры, если пользователь проявляет признаки желания причинить «неминуемый вред» себе или другим. В таких случаях Anthropic привлекает онлайн-сервис кризисной поддержки Throughline, чтобы помочь разработать ответы на запросы, связанные с самоповреждением и психическим здоровьем.

На прошлой неделе Anthropic обновила политику использования своего чат-бота, поскольку быстро развивающиеся модели ИИ вызывают всё больше опасений по поводу безопасности. Теперь компания запрещает использовать Claude для разработки биологического, ядерного, химического или радиологического оружия, а также для разработки вредоносного кода или эксплуатации уязвимостей сети.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В Херне построят деревянный ЦОД Hochtief Yexio мощностью 2 МВт 4 мин.
SpaceX осуществила 124-й пуск ракеты Falcon 9 в этом году — на орбиту выведена партия спутников Starlink 2 ч.
Новая статья: Обзор PCIe 5.0-накопителя Crucial T710: неудавшийся триумфатор 10 ч.
TSMC категорически отрицает переговоры с Intel о партнёрстве 10 ч.
Независимый разработчик придумал, как программно превратить наушники Apple AirPods в игровой контроллер 11 ч.
Huawei доминирует на рынке складных смартфонов — Samsung сильно отстаёт 18 ч.
«Зелёная» энергия для «зелёных» ускорителей: Lambda и ECL впервые запитали NVIDIA GB300 NVL72 от водорода 22 ч.
У китайских производителей возникли проблемы с созданием скоростной памяти HBM3 28-09 07:22
Meta хотела бы стать крупным поставщиком ПО для человекоподобных роботов 28-09 06:06
Oracle взяла на себя ещё $18 млрд долга для расширения бизнеса и строительства ИИ-инфраструктуры 27-09 23:51