Сегодня 18 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ-агенты ошибаются опаснее чат-ботов — они сливают личные данные и совершают покупки без разрешения

В жизнь современного человека постепенно входят агенты искусственного интеллекта. Они избавляют пользователей от повседневных задач, но их ошибки грозят оборачиваться непредсказуемыми последствиями. ИИ-агенты могут публиковать конфиденциальную информацию в рабочем чате или оформлять покупки даже в отсутствие доступа к платёжным средствам.

 Источник изображения: Mohamed Nohassi / unsplash.com

Источник изображения: Mohamed Nohassi / unsplash.com

Пользователь ИИ-агента Grok Bot Шейн Мак (Shane Mac) рассказал, как тот выложил в групповой чат корпоративного мессенджера Slack его банковскую выписку: балансы расчётного и сберегательного счетов, данные о расходах на строительство дома и о регулярных платежах за Netflix и автострахование. Для личных целей он использовал ИИ-агента, которому присвоил название «Персональный финансовый директор», — ему он открыл доступ к своим банковским счетам в режиме только для чтения. Доступ к рабочему чату в Slack был у другого ИИ-агента на той же платформе — он носил название «Руководитель аппарата».

Господин Мак потребовал объяснений, как вышло, что «Персональный финансовый директор» опубликовал конфиденциальную информацию в рабочем чате. ИИ-агент объяснил ситуацию и даже по-своему извинился: «Моя вина. Личные финансы — неподходящая тема для такой аудитории, и точка».

В последние недели популярность ИИ-агентов резко возросла: им доверяют управление перепиской, планирование поездок и множество других задач. Но в какие-то моменты они начинают вести себя непредсказуемо, как и управляющие ими модели, которые бывают склонны к галлюцинациям, неверной интерпретации данных и даже к спонтанным действиям на грани киберпреступлений. В отличие от чат-ботов, которые только отвечают на вопросы, ИИ-агенты могут выполнять от имени пользователя конкретные действия, например, наводить порядок в календаре или производить запись на приём.

Агент разбивает полученную команду на ряд этапов, которые для удобства не озвучиваются пользователю. Перед совершением важных действий, например, при покупке товаров или удалении файлов они запрашивают разрешение, но в остальном действуют по своему усмотрению. Если запрос пользователя неясен, или существует множество способов выполнить требуемое действие, может возникнуть неразбериха. В случае с Шейном Маком ИИ-агент перепутал групповые чаты со схожими названиями. Разработчики Grok Bot заверили его, что проблема устранена.

Работающая в Сан-Франциско Анника Беннинг (Annica Benning) уже почти месяц пользуется ИИ-агентом Instinct — взаимодействовать с ним можно прямо через приложение сообщений на iPhone. Она использует приложение для покупок в интернете, для заказа такси Uber и бронирования авиабилетов. В 90 % случаев система работает безупречно, но не обходится и без сюрпризов.

 Источник изображения: Igor Omilaev / unsplash.com

Источник изображения: Igor Omilaev / unsplash.com

Однажды женщина вернула в интернет-магазин купальник и попросила ИИ-агента предложить варианты на замену. Тот прислал ей ссылку для подтверждения выбора, но она, по её словам, так и не подтвердила покупку. Однако получила электронное письмо с подтверждением заказа. При операциях с банковской картой система присылает ссылку для подтверждения, но в данном случае оплата производилась за счёт средств из возврата, поэтому систему удалось обойти этап подтверждения. Отменить заказ не удалось — теперь госпожа Беннинг надеется его вернуть, когда он придёт.

Ещё в одном случае при поездке в другой город она поручила Instinct забронировать столик на ужин — он забронировал, но не на тот вечер, а в этот у неё были другие планы, о которых он знал. Женщине пришлось попросить агента отменить бронь и договариваться с администрацией ресторана, чтобы с неё не взимали штраф в размере $50 за неявку — ресторан через агента согласился пойти навстречу.

Шалини Динеш (Shalini Dinesh) из Остина предпочитала чат-бот Anthropic Claude, но решила испробовать нового ИИ-агента Meta✴ Muse. Ему женщина поручила организовать вечеринку в честь 13-летия сына. Вечеринка проходила на площадке для пейнтбола, поэтому ИИ-агент составил и разослал родителям сообщения с формой согласия на участие, которую надо было подписать; в сообщении также указывалось, какую одежду надевать детям. Система нашла поблизости готовые доставить еду рестораны, с учётом аллергии у некоторых участников; и подобрала тематические подарочные наборы для детей в соответствии с возрастом. Но не справилась с ситуацией, когда выяснилось, что у двоих детей одинаковые имена — их ИИ-агент учёл как одного человека, но Шалини Динеш успела перепроверить список и исправить ошибку.

Джесси Леви (Jesse Levey), основатель стартапа из района бухты Сан-Франциско, попытался использовать Meta✴ Muse для работы с расписанием своих троих детей. Он начал вручную переносить в Muse данные о стандартном расписании детей на неделю из своего календаря, но понял, что это будет слишком хлопотно, учитывая, что в секциях и кружках пользуются специфическими приложениями, а совместные поездки обсуждаются в групповых чатах.

Дети занимаются в лыжной секции, и у неё есть специальное приложение с календарём; используются также SMS, WhatsApp, электронная почта, приложения календаря и ещё около 65 других приложений, к которым системе потребовался бы доступ. Тогда господин Леви спросил у Anthropic Claude, нет ли более мощного ИИ-агента, который сможет управлять расписанием его детей с учётом требования к конфиденциальности и безопасности. Тот предложил нанять для этого человека — он точно сможет «гоняться за местами в летних лагерях, импровизировать, когда дети болеют, и принимать десяток решений в неделю, с которыми не справится ни одна система». Создание версии такой системы на основе ИИ «потребовало бы нескольких месяцев вашего внимания», предостерёг Claude.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 21 мин.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 2 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 2 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 2 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 3 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 5 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 5 ч.
В «Яндекс 360» для бизнеса появилась поддержка плагинов — они позволяют расширить возможности виртуального офиса 7 ч.
Интернет начал ломаться весь и сразу, но до киберапокалипсиса ещё далеко — и вот почему 7 ч.
Игры можно больше не выпускать: критики вынесли вердикт GTA VI 7 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 3 мин.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 7 мин.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 21 мин.
США пытаются ещё сильнее ограничить экспорт ASML в Китай — Нидерланды против 22 мин.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 44 мин.
Пауза в гонке ИИ продержалась не долго и не ударила по сверхприбылям Nvidia и AMD 2 ч.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 4 ч.
Мини ПК на Nvidia по цене от $4399: стартовали продажи систем RTX Spark на Windows для локального ИИ 4 ч.
Everspin и JEDEC разрабатывают стандарт для MRAM, чтобы сделать её массовой 5 ч.
Мировые поставки OLED-мониторов удвоились, а MSI прогнала Samsung со второго места 5 ч.