Сегодня 04 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → claude opus

Чат-бот Claude AI станет прекращать «вредоносные или оскорбительные диалоги с пользователями»

Anthropic научила свой чат-бот Claude AI прекращать общение, которое он сочтёт «вредоносным или оскорбительным». Эта возможность уже доступна в моделях Opus 4 и 4.1. Она позволит чат-боту завершать разговоры в качестве крайней меры после неоднократных попыток пользователя сгенерировать вредоносный или оскорбительный контент. Anthropic хочет добиться «потенциального благополучия» моделей ИИ, прекращая беседы, в которых Claude испытывает «явный дискомфорт».

 Источник изображения: Anthropic

Источник изображения: Anthropic

После прекращения диалога со стороны Claude, пользователь не сможет отправлять новые сообщения в этом чате, но создание новых чатов будет по-прежнему доступно. Anthropic отметила, что разговоры, вызывающие подобную реакцию, являются «крайними случаями», добавляя, что большинство пользователей не столкнутся с этим препятствием даже при обсуждении спорных тем.

В ходе тестирования Claude Opus 4 у чат-бота было отмечено «стойкое и последовательное отвращение к причинению вреда», в том числе к созданию сексуального контента с участием несовершеннолетних, насильственным действиям и терроризму. В этих случаях, по данным Anthropic, Claude демонстрировал «явную тревожность» и «тенденцию прекращать вредоносные разговоры, когда предоставлялась такая возможность».

Claude получил прямое указание не завершать разговоры, если пользователь проявляет признаки желания причинить «неминуемый вред» себе или другим. В таких случаях Anthropic привлекает онлайн-сервис кризисной поддержки Throughline, чтобы помочь разработать ответы на запросы, связанные с самоповреждением и психическим здоровьем.

На прошлой неделе Anthropic обновила политику использования своего чат-бота, поскольку быстро развивающиеся модели ИИ вызывают всё больше опасений по поводу безопасности. Теперь компания запрещает использовать Claude для разработки биологического, ядерного, химического или радиологического оружия, а также для разработки вредоносного кода или эксплуатации уязвимостей сети.

Пока все ждут GPT-5, Anthropic выпустила ИИ-модель Claude Opus 4.1 — она стала лучше в программировании, рассуждениях и агентских задачах

Anthropic объявила о выходе рассуждающей модели искусственного интеллекта Claude Opus 4.1, предназначенной для работы в качестве ИИ-агента, средства написания программного кода.

 Источник изображений: anthropic.com

Источник изображений: anthropic.com

Поработать с Opus 4.1 уже могут подписчики платных версий Claude и в Claude Code; новая модель также доступна через API, на платформах Amazon Bedrock и Google Cloud Vertex AI. Стоимость доступа к ней такая же, как у оригинальной Opus 4.

Anthropic Claude Opus 4.1 лучше справляется с задачами на написание программного кода — тест SWE-bench Verified показал результат до 74,5 %. Улучшились навыки чат-бота Claude в области анализа данных и углублённых исследований, особенно при необходимости произвести агентный поиск информации и отследить детали.

Обновлённая модель Claude Opus 4.1 стала лучше в большинстве функций по сравнению с Opus 4, по версии GitHub. Ещё одна примечательная особенность Opus 4.1 — способность вносить точные изменения в код даже при большом объёме его базы, ограничиваясь только необходимыми модификациями и не создавая новых ошибок, что делает модель эффективным средством для повседневной отладки, отметили в Rakuten Group. В Windsurf прогресс Opus 4.1 по сравнению с Opus 4 оценили в одно стандартное отклонение — таким же он был при переходе от Sonnet 3.7 к Sonnet 4.

Anthropic рекомендовала переходить с Opus 4 на Opus 4.1 во всех сценариях работы. При подключении через API разработчикам достаточно выбрать модель claude-opus-4-1-20250805.


window-new
Soft
Hard
Тренды 🔥
Отрасль затаила дыхание —Tesco, крупнейшая розничная сеть в Великобритании, подала в суд на Broadcom из-за изменения лицензионной политики VMware 2 ч.
Надёжный инсайдер: новая God of War в разработке, а Marvel’s Wolverine скоро выйдет из тени 3 ч.
Apple встроит в Siri поисковик на базе ИИ от Google в следующем году 3 ч.
Дождались: Instagram впервые за 15 лет выпустил приложение для iPad 10 ч.
Буквально одно слово в решении суда спасло сделку Apple и Google на $20 млрд в год 10 ч.
В Android закрыли уязвимость, позволявшую захватить контроль над смартфоном через Bluetooth или Wi-Fi 11 ч.
«007 кадров», 30 минут геймплея и дата выхода: Sony устроила демонстрацию шпионского боевика 007 First Light от создателей Hitman 12 ч.
Браузер Chrome обновился до 140-й версии — закрыты шесть уязвимостей, включая критическую 13 ч.
«Наслаждайтесь последними днями покоя»: перезапуск Painkiller не выйдет 9 октября 15 ч.
Акции Google резко подорожали после того, как компания увернулась от принудительной продажи Chrome 16 ч.