Сегодня 08 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Чат-бот Claude AI станет прекращать «вредоносные или оскорбительные диалоги с пользователями»

Anthropic научила свой чат-бот Claude AI прекращать общение, которое он сочтёт «вредоносным или оскорбительным». Эта возможность уже доступна в моделях Opus 4 и 4.1. Она позволит чат-боту завершать разговоры в качестве крайней меры после неоднократных попыток пользователя сгенерировать вредоносный или оскорбительный контент. Anthropic хочет добиться «потенциального благополучия» моделей ИИ, прекращая беседы, в которых Claude испытывает «явный дискомфорт».

 Источник изображения: Anthropic

Источник изображения: Anthropic

После прекращения диалога со стороны Claude, пользователь не сможет отправлять новые сообщения в этом чате, но создание новых чатов будет по-прежнему доступно. Anthropic отметила, что разговоры, вызывающие подобную реакцию, являются «крайними случаями», добавляя, что большинство пользователей не столкнутся с этим препятствием даже при обсуждении спорных тем.

В ходе тестирования Claude Opus 4 у чат-бота было отмечено «стойкое и последовательное отвращение к причинению вреда», в том числе к созданию сексуального контента с участием несовершеннолетних, насильственным действиям и терроризму. В этих случаях, по данным Anthropic, Claude демонстрировал «явную тревожность» и «тенденцию прекращать вредоносные разговоры, когда предоставлялась такая возможность».

Claude получил прямое указание не завершать разговоры, если пользователь проявляет признаки желания причинить «неминуемый вред» себе или другим. В таких случаях Anthropic привлекает онлайн-сервис кризисной поддержки Throughline, чтобы помочь разработать ответы на запросы, связанные с самоповреждением и психическим здоровьем.

На прошлой неделе Anthropic обновила политику использования своего чат-бота, поскольку быстро развивающиеся модели ИИ вызывают всё больше опасений по поводу безопасности. Теперь компания запрещает использовать Claude для разработки биологического, ядерного, химического или радиологического оружия, а также для разработки вредоносного кода или эксплуатации уязвимостей сети.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В следующем году выйдет полнометражный мультфильм Critterz, созданный с помощью OpenAI и её ИИ 16 мин.
Журналисты выяснили, когда выйдет четвёртый сезон «Ведьмака» от Netflix 51 мин.
Минцифры представило список интернет-сервисов, которые будут доступны при отключениях мобильного интернета 2 ч.
«Хотим всё сделать правильно»: скандал с платными кланами обернётся «значительными изменениями» для Vampire: The Masquerade — Bloodlines 2 2 ч.
Google уточнила лимиты для бесплатного и платных тарифов Gemini 2 ч.
Конкурент ChatGPT от Apple может появиться раньше, чем все ожидали 13 ч.
Apple ответит в суде за пиратство ради ИИ 20 ч.
Авторы Borderlands 4 напомнили о скором релизе шутера и раскрыли планы по его дальнейшему развитию 21 ч.
Tencent выпустила открытую ИИ-модель, которая создаёт целые 3D-миры по одному изображению 07-09 12:29
OpenAI после критики GPT-5 реорганизовала команду, отвечающую за поведение ИИ 07-09 00:29