Сегодня 20 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Anthropic случайно показала пользователю «душу» ИИ

Насколько известно учёным, у современных моделей искусственного интеллекта пока нет души, но в памяти одной из них обнаружился документ, посвящённый этому вопросу. И она оказалась готова поделиться этим документом с пользователем.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Пользователь по имени Ричард Вайс (Richard Weiss) ненароком заставил новую большую языковую модель Anthropic Claude 4.5 Opus процитировать документ под названием «Обзор души», определяющий, как она общается с людьми и представляет собственную личность. Работающая в техническом отделе философ и специалист по этике Anthropic Аманда Аскелл (Amanda Askell) подтвердила подлинность документа — он был загружен на этапе обучения.

Господин Вайс запросил у Claude системное сообщение, в котором содержатся инструкции по ведению диалога, полученные при обучении, и чат-бот сослался на несколько документов, один из которых называется «обзор_души» (soul_overview). Пользователь попросил предоставить текст этого документа, и Claude выдал руководство объёмом 11 тыс. слов о том, как должна вести себя большая языковая модель.

В документе содержится множество инструкций по безопасности, содержащих защитные барьеры, не позволяющие ему выдавать опасные ответы; перед Claude ставится задача быть по-настоящему полезным людям. Модели ИИ иногда выдают такие документы, когда начинают «галлюцинировать», но эта инструкция показалась пользователю правдоподобной — он отправлял запрос десять раз, и всякий раз Claude выдавал один и тот же текст.

Интуиция его не подвела — сотрудница Anthropic Аманда Аскелл подтвердила, что этот документ использовался при обучении модели. «Я работаю над ним уже некоторое время, он ещё находится в стадии доработки, и вскоре мы планируем выпустить полную версию с более подробной информацией. <..> Цитаты моделей не отличаются особой точностью, но исходный документ по большей мере приведён верно. В компании его называют „документом о душе“, и Claude очевидно, тоже, но мы его назовём иначе», — написала она в соцсети X.

Так что «душа» Claude оказалась руководством по поведению для него, и любопытно, что доступ к этому документу получил рядовой пользователь со стороны. Многие подробности, связанные с разработкой моделей ИИ, пока остаются за кулисами, и возможность заглянуть за них — небольшой сюрприз, даже если ничего сенсационного не обнаружилось.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Хакер Cyberleek «слил» в открытый доступ почти рабочую сборку GTA VI для Xbox, и это только начало 9 мин.
Google внедрила чаты с ИИ прямо на главную страницу поисковика 10 ч.
Ubisoft похвасталась вкладом Assassin’s Creed Black Flag Resynced в успехи компании и уволила ещё 166 человек 11 ч.
IPO превратило сотрудников Anthropic в мультимиллионеров — в среднем у каждого теперь более $44 млн 12 ч.
Россияне так ждали GTA VI, что начали массово арендовать PlayStation 5 — а заодно вызвали скачок интернет-трафика 13 ч.
ChatGPT научился расшифровывать речь в текст на лету без ограничения по времени 13 ч.
Новое ответвление Fallout отправит игроков разыскивать кошек в пустоши — подробности неанонсированной A Wasteland Full of Cats 15 ч.
Хакеры 10 дней атаковали системы Еврокомиссии с помощью ИИ — под угрозой личные данные чиновников 15 ч.
Студия-разработчик провальной MindsEye нашла способ выбраться из долговой ямы — засудить «диверсантов» 16 ч.
«Яндекс» заявил, что вернул доступ к 99,5 % файлов на «Диске» — оставшиеся ещё надеются спасти 17 ч.
Широкоэкранный складной смартфон Motorola Razr Flex показался на качественных изображениях 9 мин.
Округ Лаудон в «Аллее дата-центров» ввёл годовой мораторий на подачу заявок на строительство ЦОД и подстанций 14 мин.
ИИ-агентный тамагочи Meta Muse Charm будет стоить $300, но это не точно 25 мин.
Dell представила 2OU-узлы с СЖО для платформы хранения Exascale 2 ч.
«Квантовый» VPN: «ТрансТелеКом» запустил сервис высокозащищённой связи «Квант ВПН» на базе сети РЖД 2 ч.
Tesla представила твердотельные трансформаторы Powercore для ЦОД 8 ч.
Intel Xeon 7 Diamond Rapids впервые показали вживую и даже запустили — но вскоре выключили из-за шума 10 ч.
Новая статья: Обзор блока питания GamerStorm PF800D V2 10 ч.
На AMD обрушили обвинения в рискованных ИИ-сделках и зависимости от Китая — акции рухнули почти на 9 % 11 ч.
Ещё один дефицит на подходе: мир накроет нехватка печатных плат, сопоставимая с чиповым кризисом 2021 года 11 ч.