Сегодня 26 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → claude opus

Чат-бот Claude AI станет прекращать «вредоносные или оскорбительные диалоги с пользователями»

Anthropic научила свой чат-бот Claude AI прекращать общение, которое он сочтёт «вредоносным или оскорбительным». Эта возможность уже доступна в моделях Opus 4 и 4.1. Она позволит чат-боту завершать разговоры в качестве крайней меры после неоднократных попыток пользователя сгенерировать вредоносный или оскорбительный контент. Anthropic хочет добиться «потенциального благополучия» моделей ИИ, прекращая беседы, в которых Claude испытывает «явный дискомфорт».

 Источник изображения: Anthropic

Источник изображения: Anthropic

После прекращения диалога со стороны Claude, пользователь не сможет отправлять новые сообщения в этом чате, но создание новых чатов будет по-прежнему доступно. Anthropic отметила, что разговоры, вызывающие подобную реакцию, являются «крайними случаями», добавляя, что большинство пользователей не столкнутся с этим препятствием даже при обсуждении спорных тем.

В ходе тестирования Claude Opus 4 у чат-бота было отмечено «стойкое и последовательное отвращение к причинению вреда», в том числе к созданию сексуального контента с участием несовершеннолетних, насильственным действиям и терроризму. В этих случаях, по данным Anthropic, Claude демонстрировал «явную тревожность» и «тенденцию прекращать вредоносные разговоры, когда предоставлялась такая возможность».

Claude получил прямое указание не завершать разговоры, если пользователь проявляет признаки желания причинить «неминуемый вред» себе или другим. В таких случаях Anthropic привлекает онлайн-сервис кризисной поддержки Throughline, чтобы помочь разработать ответы на запросы, связанные с самоповреждением и психическим здоровьем.

На прошлой неделе Anthropic обновила политику использования своего чат-бота, поскольку быстро развивающиеся модели ИИ вызывают всё больше опасений по поводу безопасности. Теперь компания запрещает использовать Claude для разработки биологического, ядерного, химического или радиологического оружия, а также для разработки вредоносного кода или эксплуатации уязвимостей сети.

Пока все ждут GPT-5, Anthropic выпустила ИИ-модель Claude Opus 4.1 — она стала лучше в программировании, рассуждениях и агентских задачах

Anthropic объявила о выходе рассуждающей модели искусственного интеллекта Claude Opus 4.1, предназначенной для работы в качестве ИИ-агента, средства написания программного кода.

 Источник изображений: anthropic.com

Источник изображений: anthropic.com

Поработать с Opus 4.1 уже могут подписчики платных версий Claude и в Claude Code; новая модель также доступна через API, на платформах Amazon Bedrock и Google Cloud Vertex AI. Стоимость доступа к ней такая же, как у оригинальной Opus 4.

Anthropic Claude Opus 4.1 лучше справляется с задачами на написание программного кода — тест SWE-bench Verified показал результат до 74,5 %. Улучшились навыки чат-бота Claude в области анализа данных и углублённых исследований, особенно при необходимости произвести агентный поиск информации и отследить детали.

Обновлённая модель Claude Opus 4.1 стала лучше в большинстве функций по сравнению с Opus 4, по версии GitHub. Ещё одна примечательная особенность Opus 4.1 — способность вносить точные изменения в код даже при большом объёме его базы, ограничиваясь только необходимыми модификациями и не создавая новых ошибок, что делает модель эффективным средством для повседневной отладки, отметили в Rakuten Group. В Windsurf прогресс Opus 4.1 по сравнению с Opus 4 оценили в одно стандартное отклонение — таким же он был при переходе от Sonnet 3.7 к Sonnet 4.

Anthropic рекомендовала переходить с Opus 4 на Opus 4.1 во всех сценариях работы. При подключении через API разработчикам достаточно выбрать модель claude-opus-4-1-20250805.


window-new
Soft
Hard
Тренды 🔥
Трамп одобрил сделку по американскому TikTok — сервис оценили всего в $14 млрд, но это не точно 4 ч.
Starbreeze извинилась за вероломное повышение цены сборника Infamous Collection с DLC для Payday 2 и отменила подорожание 6 ч.
Кроссплатформенная поддержка модов для The Witcher 3: Wild Hunt не выйдет в 2025 году — CD Projekt Red отложила горячо ожидаемое обновление 8 ч.
Подростковые аккаунты в Facebook теперь доступны по всему миру — у них повышена приватность и усилен родительский контроль 8 ч.
Hades 2 вырвалась из раннего доступа — критики и пользователи Steam оценили игру на 94 % 9 ч.
Selectel запустила программу OpenFix по работе с открытым кодом за вознаграждение 9 ч.
Эффектный геймплейный трейлер раскрыл дату выхода амбициозного корейского боевика Crimson Desert — предзаказ доступен в российском Steam 10 ч.
В App Store завирусилось приложение Neon — людям платят за записи их телефонных разговоров 10 ч.
Европейцы вынудили Microsoft предоставить им дополнительный год обновлений Windows 10 бесплатно 11 ч.
Персонажи в играх заговорят реалистичнее — Nvidia выпустила открытый ИИ-инструмент Audio2Face для речевой анимации 11 ч.