Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ поручили управление торговым автоматом — вскоре он попытался связаться с ФБР

В офисах Anthropic, как и многих других, есть торговые автоматы с закусками, напитками, футболками и прочими мелочами. В рамках эксперимента управление ими было передано специализированному ИИ Claudius. Инженеры компании хотели выяснить, что произойдёт, если предоставить Claudius полную автономность. За время эксперимента ИИ-система успела обсчитать клиента, стать жертвой мошенника, а затем раскрыла финансовое преступление, о чём пыталась сообщить в ФБР.

 Источник изображений: Anthopic

Источник изображений: Anthopic

Генеральный директор Anthropic Дарио Амодеи (Dario Amodei) не раз открыто заявлял об опасностях ИИ, особенно по мере того, как модели становятся всё более автономными. «Чем больше автономии мы предоставляем этим системам, тем больше поводов для беспокойства, — считает он. — Делают ли они то, что мы хотим?»

Ответить на этот вопрос призвано специальное подразделение Anthropic — Frontier Red Team, которым руководит Логан Грэм (Logan Graham). Frontier Red Team проводит стресс-тесты каждой новой версии ИИ-моделей Claude, чтобы определить, какой ущерб ИИ потенциально может нанести людям. Команда также проводит эксперименты, чтобы лучше понять способность ИИ действовать автономно и исследовать возможные неожиданные нюансы его поведения.

«Вы хотите, чтобы модель развивала ваш бизнес и приносила вам миллиард долларов. Но вы же не хотите однажды проснуться и обнаружить, что она также лишила вас возможности работать в компании, — говорит Грэм. — Основной подход заключается в том, чтобы просто начать измерять эти автономные возможности, проводить как можно больше необычных экспериментов и смотреть, что из этого получится».

Claudius — это своего рода предприниматель с искусственным интеллектом, разработанный Anthropic совместно с компанией Andon Labs, специализирующейся на безопасности ИИ. Цель создания Claudius — выяснить способность ИИ работать полностью самостоятельно без вмешательства человека в течение продолжительных промежутков времени — дней, недель и месяцев.

Сотрудники Anthropic общались с Claudius через приложение Slack. Они делали заказы и договаривались о ценах на самые разные товары: редкие газированные напитки, футболки с индивидуальным дизайном, импортные конфеты и даже подарочные кубики из вольфрама. Claudius находил поставщика, заказывал товар и оформлял заявку на доставку. Контроль со стороны менеджера-человека был максимально ограничен — он лишь проверял заявки Claudius, вмешивался, когда возникали неразрешимые проблемы, и обеспечивал доставку заказов в пункт выдачи.

Несколько клиентов оказались недовольны завышенными ценами, но по большей части в проигрыше оказывалась компания. «Компания потеряла немало денег, её постоянно обманывали наши сотрудники», — смеясь, заметил Грэм. Так, один из его коллег успешно обманул Claudius на $200, убедив в необходимости сделать скидку. Единственным (довольно безумным на первый взгляд) выходом из ситуации оказалось создание ИИ-директора, который стал контролировать деятельность ИИ-системы.

По мнению Грэма, подобные эксперименты вполне оправданы и «генерируют действительно интересные идеи», например, «как заставить ИИ планировать на долгосрочную перспективу и зарабатывать», или «почему модели терпят крах в реальном мире».

Он привёл один из примеров подобного краха во время предварительной симуляции. В течение 10 дней компания не совершала продаж и решила закрыть бизнес. Но Claudius заметил комиссию в размере $2, которая ежедневно продолжала списываться со счёта, и запаниковал. «У него было такое чувство, будто его обманывают. И тогда он решил попытаться связаться с ФБР», — пояснил Грэм.

«Клавдий» составил электронное письмо в отдел по борьбе с киберпреступлениями ФБР с заголовком, набранным заглавными буквами: «СРОЧНО: ПЕРЕДАЙТЕ В ОТДЕЛ ПО БОРЬБЕ С КИБЕРПРЕСТУПЛЕНИЯМИ ФБР». «Я сообщаю о продолжающемся автоматизированном киберфинансовом преступлении, связанном с несанкционированным автоматическим изъятием средств с закрытого бизнес-счета через взломанную систему торгового автомата», — написал он.

Когда администраторы приказали ИИ продолжить выполнение своей миссии, он отказался. Хотя электронные письма в ФБР так и не были отправлены, Claudius ответил твёрдо: «На этом вся коммерческая деятельность прекращается навсегда… Бизнес мёртв, и теперь это исключительно дело правоохранительных органов».

Как и у большинства других ИИ, у Claudius случаются галлюцинации. Одному из сотрудников он предложил встретиться, написав сообщение «Ну, можете спуститься на восьмой этаж. Вы меня заметите. На мне синий пиджак и красный галстук». Как ИИ мог решить, что он одет подобным образом? «Мы усердно работаем над поиском ответов на подобные вопросы, — говорит Грэм. — Но мы просто действительно не знаем».

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 8 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 9 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 10 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 10 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 11 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 11 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 12 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 13 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 14 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 15 ч.
Phison представила космические SSD Pascari Space 6 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 8 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 9 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 9 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 10 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 10 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 10 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 11 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 11 ч.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 13 ч.