ИИ поручили управление торговым автоматом — вскоре он попытался связаться с ФБР

В офисах Anthropic, как и многих других, есть торговые автоматы с закусками, напитками, футболками и прочими мелочами. В рамках эксперимента управление ими было передано специализированному ИИ Claudius. Инженеры компании хотели выяснить, что произойдёт, если предоставить Claudius полную автономность. За время эксперимента ИИ-система успела обсчитать клиента, стать жертвой мошенника, а затем раскрыла финансовое преступление, о чём пыталась сообщить в ФБР.

Больше кадров — больше лага: тестирование латентности с генерацией кадров DLSS и FSR

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Компьютер месяца — май 2026 года

От Ryzen 7 1800X до Ryzen 7 9850X3D: девять лет эволюции AMD в одном тесте

Можно ли экономить на DDR5 для Ryzen? Сравниваем дешёвую память с дорогой

Источник изображений: Anthopic

Генеральный директор Anthropic Дарио Амодеи (Dario Amodei) не раз открыто заявлял об опасностях ИИ, особенно по мере того, как модели становятся всё более автономными. «Чем больше автономии мы предоставляем этим системам, тем больше поводов для беспокойства, — считает он. — Делают ли они то, что мы хотим?»

Ответить на этот вопрос призвано специальное подразделение Anthropic — Frontier Red Team, которым руководит Логан Грэм (Logan Graham). Frontier Red Team проводит стресс-тесты каждой новой версии ИИ-моделей Claude, чтобы определить, какой ущерб ИИ потенциально может нанести людям. Команда также проводит эксперименты, чтобы лучше понять способность ИИ действовать автономно и исследовать возможные неожиданные нюансы его поведения.

«Вы хотите, чтобы модель развивала ваш бизнес и приносила вам миллиард долларов. Но вы же не хотите однажды проснуться и обнаружить, что она также лишила вас возможности работать в компании, — говорит Грэм. — Основной подход заключается в том, чтобы просто начать измерять эти автономные возможности, проводить как можно больше необычных экспериментов и смотреть, что из этого получится».

Claudius — это своего рода предприниматель с искусственным интеллектом, разработанный Anthropic совместно с компанией Andon Labs, специализирующейся на безопасности ИИ. Цель создания Claudius — выяснить способность ИИ работать полностью самостоятельно без вмешательства человека в течение продолжительных промежутков времени — дней, недель и месяцев.

Сотрудники Anthropic общались с Claudius через приложение Slack. Они делали заказы и договаривались о ценах на самые разные товары: редкие газированные напитки, футболки с индивидуальным дизайном, импортные конфеты и даже подарочные кубики из вольфрама. Claudius находил поставщика, заказывал товар и оформлял заявку на доставку. Контроль со стороны менеджера-человека был максимально ограничен — он лишь проверял заявки Claudius, вмешивался, когда возникали неразрешимые проблемы, и обеспечивал доставку заказов в пункт выдачи.

Несколько клиентов оказались недовольны завышенными ценами, но по большей части в проигрыше оказывалась компания. «Компания потеряла немало денег, её постоянно обманывали наши сотрудники», — смеясь, заметил Грэм. Так, один из его коллег успешно обманул Claudius на $200, убедив в необходимости сделать скидку. Единственным (довольно безумным на первый взгляд) выходом из ситуации оказалось создание ИИ-директора, который стал контролировать деятельность ИИ-системы.

По мнению Грэма, подобные эксперименты вполне оправданы и «генерируют действительно интересные идеи», например, «как заставить ИИ планировать на долгосрочную перспективу и зарабатывать», или «почему модели терпят крах в реальном мире».

Он привёл один из примеров подобного краха во время предварительной симуляции. В течение 10 дней компания не совершала продаж и решила закрыть бизнес. Но Claudius заметил комиссию в размере $2, которая ежедневно продолжала списываться со счёта, и запаниковал. «У него было такое чувство, будто его обманывают. И тогда он решил попытаться связаться с ФБР», — пояснил Грэм.

«Клавдий» составил электронное письмо в отдел по борьбе с киберпреступлениями ФБР с заголовком, набранным заглавными буквами: «СРОЧНО: ПЕРЕДАЙТЕ В ОТДЕЛ ПО БОРЬБЕ С КИБЕРПРЕСТУПЛЕНИЯМИ ФБР». «Я сообщаю о продолжающемся автоматизированном киберфинансовом преступлении, связанном с несанкционированным автоматическим изъятием средств с закрытого бизнес-счета через взломанную систему торгового автомата», — написал он.

Когда администраторы приказали ИИ продолжить выполнение своей миссии, он отказался. Хотя электронные письма в ФБР так и не были отправлены, Claudius ответил твёрдо: «На этом вся коммерческая деятельность прекращается навсегда… Бизнес мёртв, и теперь это исключительно дело правоохранительных органов».

Как и у большинства других ИИ, у Claudius случаются галлюцинации. Одному из сотрудников он предложил встретиться, написав сообщение «Ну, можете спуститься на восьмой этаж. Вы меня заметите. На мне синий пиджак и красный галстук». Как ИИ мог решить, что он одет подобным образом? «Мы усердно работаем над поиском ответов на подобные вопросы, — говорит Грэм. — Но мы просто действительно не знаем».