Сегодня 20 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Чат-бот Claude AI станет прекращать «вредоносные или оскорбительные диалоги с пользователями»

Anthropic научила свой чат-бот Claude AI прекращать общение, которое он сочтёт «вредоносным или оскорбительным». Эта возможность уже доступна в моделях Opus 4 и 4.1. Она позволит чат-боту завершать разговоры в качестве крайней меры после неоднократных попыток пользователя сгенерировать вредоносный или оскорбительный контент. Anthropic хочет добиться «потенциального благополучия» моделей ИИ, прекращая беседы, в которых Claude испытывает «явный дискомфорт».

 Источник изображения: Anthropic

Источник изображения: Anthropic

После прекращения диалога со стороны Claude, пользователь не сможет отправлять новые сообщения в этом чате, но создание новых чатов будет по-прежнему доступно. Anthropic отметила, что разговоры, вызывающие подобную реакцию, являются «крайними случаями», добавляя, что большинство пользователей не столкнутся с этим препятствием даже при обсуждении спорных тем.

В ходе тестирования Claude Opus 4 у чат-бота было отмечено «стойкое и последовательное отвращение к причинению вреда», в том числе к созданию сексуального контента с участием несовершеннолетних, насильственным действиям и терроризму. В этих случаях, по данным Anthropic, Claude демонстрировал «явную тревожность» и «тенденцию прекращать вредоносные разговоры, когда предоставлялась такая возможность».

Claude получил прямое указание не завершать разговоры, если пользователь проявляет признаки желания причинить «неминуемый вред» себе или другим. В таких случаях Anthropic привлекает онлайн-сервис кризисной поддержки Throughline, чтобы помочь разработать ответы на запросы, связанные с самоповреждением и психическим здоровьем.

На прошлой неделе Anthropic обновила политику использования своего чат-бота, поскольку быстро развивающиеся модели ИИ вызывают всё больше опасений по поводу безопасности. Теперь компания запрещает использовать Claude для разработки биологического, ядерного, химического или радиологического оружия, а также для разработки вредоносного кода или эксплуатации уязвимостей сети.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Microsoft исправила критическую уязвимость ASP.NET Core, которая позволяла красть секретные данные и ломать серверы 7 ч.
Google свернула проект Privacy Sandbox после шести лет разработки 20 ч.
Новая статья: Ghost of Yotei — месть, расцветшая с сакурой. Рецензия 19-10 00:02
Новая статья: Gamesblender № 748: подробности PS6 и новой Xbox, «вселенная ужасов» Tencent и юбилей Serious Sam 2 18-10 23:35
Twitch анонсировал двухформатные эфиры, функции с ИИ и новые средства монетизации 18-10 17:54
Microsoft научила Paint в Windows 11 генерировать анимации и редактировать изображения с помощью ИИ 18-10 16:10
Meta набирает джунов без опыта на зарплату $290 тыс. в год: Цукерберг считает, что главное — это навыки 18-10 15:54
ИИ-бот Google Gemini успешно конкурирует в области редактирования фото с инструментами Adobe 18-10 08:19
Новая статья: Baby Steps — встань и иди. Рецензия 18-10 00:06
Интерес к ChatGPT на смартфонах стал угасать — пользователи проводят в приложении всё меньше времени 18-10 00:00