Сегодня 29 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Чат-бот Claude AI станет прекращать «вредоносные или оскорбительные диалоги с пользователями»

Anthropic научила свой чат-бот Claude AI прекращать общение, которое он сочтёт «вредоносным или оскорбительным». Эта возможность уже доступна в моделях Opus 4 и 4.1. Она позволит чат-боту завершать разговоры в качестве крайней меры после неоднократных попыток пользователя сгенерировать вредоносный или оскорбительный контент. Anthropic хочет добиться «потенциального благополучия» моделей ИИ, прекращая беседы, в которых Claude испытывает «явный дискомфорт».

 Источник изображения: Anthropic

Источник изображения: Anthropic

После прекращения диалога со стороны Claude, пользователь не сможет отправлять новые сообщения в этом чате, но создание новых чатов будет по-прежнему доступно. Anthropic отметила, что разговоры, вызывающие подобную реакцию, являются «крайними случаями», добавляя, что большинство пользователей не столкнутся с этим препятствием даже при обсуждении спорных тем.

В ходе тестирования Claude Opus 4 у чат-бота было отмечено «стойкое и последовательное отвращение к причинению вреда», в том числе к созданию сексуального контента с участием несовершеннолетних, насильственным действиям и терроризму. В этих случаях, по данным Anthropic, Claude демонстрировал «явную тревожность» и «тенденцию прекращать вредоносные разговоры, когда предоставлялась такая возможность».

Claude получил прямое указание не завершать разговоры, если пользователь проявляет признаки желания причинить «неминуемый вред» себе или другим. В таких случаях Anthropic привлекает онлайн-сервис кризисной поддержки Throughline, чтобы помочь разработать ответы на запросы, связанные с самоповреждением и психическим здоровьем.

На прошлой неделе Anthropic обновила политику использования своего чат-бота, поскольку быстро развивающиеся модели ИИ вызывают всё больше опасений по поводу безопасности. Теперь компания запрещает использовать Claude для разработки биологического, ядерного, химического или радиологического оружия, а также для разработки вредоносного кода или эксплуатации уязвимостей сети.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Число криптомиллионеров выросло на 40 % за год — теперь их 241 700 16 ч.
Nival выложила в открытый доступ исходный код военной стратегии «Блицкриг 2» 17 ч.
Google работает над функцией бесшовного переноса приложений между Android и Windows 20 ч.
Подписка xAI Grok обойдётся госслужбам США всего в $0,42 за полтора года 20 ч.
Новая статья: Gamesblender № 745: геймплей Marvel’s Wolverine, ремастер Deus Ex, ремейк Yakuza 3 и хоррор Кодзимы 20 ч.
ИИ-аватар позволяет пообщаться с покойным создателем комиксов о человеке-пауке и героях Marvel 28-09 06:55
Spotify начнёт маркировать музыку с ИИ и запретит клонированные голоса 28-09 05:30
Новая статья: Dying Light: The Beast — свобода или клетка? Рецензия 28-09 00:06
Asus признала подтормаживания геймерских ноутбуков ROG и пообещала скоро всё исправить 27-09 17:55
Российская платформа для разработки GitFlic дополнилась интеграцией с системами управления проектами 27-09 15:34