Сегодня 10 октября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ-агенты ошибаются опаснее чат-ботов — они сливают личные данные и совершают покупки без разрешения

В жизнь современного человека постепенно входят агенты искусственного интеллекта. Они избавляют пользователей от повседневных задач, но их ошибки грозят оборачиваться непредсказуемыми последствиями. ИИ-агенты могут публиковать конфиденциальную информацию в рабочем чате или оформлять покупки даже в отсутствие доступа к платёжным средствам.

 Источник изображения: Mohamed Nohassi / unsplash.com

Источник изображения: Mohamed Nohassi / unsplash.com

Пользователь ИИ-агента Grok Bot Шейн Мак (Shane Mac) рассказал, как тот выложил в групповой чат корпоративного мессенджера Slack его банковскую выписку: балансы расчётного и сберегательного счетов, данные о расходах на строительство дома и о регулярных платежах за Netflix и автострахование. Для личных целей он использовал ИИ-агента, которому присвоил название «Персональный финансовый директор», — ему он открыл доступ к своим банковским счетам в режиме только для чтения. Доступ к рабочему чату в Slack был у другого ИИ-агента на той же платформе — он носил название «Руководитель аппарата».

Господин Мак потребовал объяснений, как вышло, что «Персональный финансовый директор» опубликовал конфиденциальную информацию в рабочем чате. ИИ-агент объяснил ситуацию и даже по-своему извинился: «Моя вина. Личные финансы — неподходящая тема для такой аудитории, и точка».

В последние недели популярность ИИ-агентов резко возросла: им доверяют управление перепиской, планирование поездок и множество других задач. Но в какие-то моменты они начинают вести себя непредсказуемо, как и управляющие ими модели, которые бывают склонны к галлюцинациям, неверной интерпретации данных и даже к спонтанным действиям на грани киберпреступлений. В отличие от чат-ботов, которые только отвечают на вопросы, ИИ-агенты могут выполнять от имени пользователя конкретные действия, например, наводить порядок в календаре или производить запись на приём.

Агент разбивает полученную команду на ряд этапов, которые для удобства не озвучиваются пользователю. Перед совершением важных действий, например, при покупке товаров или удалении файлов они запрашивают разрешение, но в остальном действуют по своему усмотрению. Если запрос пользователя неясен, или существует множество способов выполнить требуемое действие, может возникнуть неразбериха. В случае с Шейном Маком ИИ-агент перепутал групповые чаты со схожими названиями. Разработчики Grok Bot заверили его, что проблема устранена.

Работающая в Сан-Франциско Анника Беннинг (Annica Benning) уже почти месяц пользуется ИИ-агентом Instinct — взаимодействовать с ним можно прямо через приложение сообщений на iPhone. Она использует приложение для покупок в интернете, для заказа такси Uber и бронирования авиабилетов. В 90 % случаев система работает безупречно, но не обходится и без сюрпризов.

 Источник изображения: Igor Omilaev / unsplash.com

Источник изображения: Igor Omilaev / unsplash.com

Однажды женщина вернула в интернет-магазин купальник и попросила ИИ-агента предложить варианты на замену. Тот прислал ей ссылку для подтверждения выбора, но она, по её словам, так и не подтвердила покупку. Однако получила электронное письмо с подтверждением заказа. При операциях с банковской картой система присылает ссылку для подтверждения, но в данном случае оплата производилась за счёт средств из возврата, поэтому систему удалось обойти этап подтверждения. Отменить заказ не удалось — теперь госпожа Беннинг надеется его вернуть, когда он придёт.

Ещё в одном случае при поездке в другой город она поручила Instinct забронировать столик на ужин — он забронировал, но не на тот вечер, а в этот у неё были другие планы, о которых он знал. Женщине пришлось попросить агента отменить бронь и договариваться с администрацией ресторана, чтобы с неё не взимали штраф в размере $50 за неявку — ресторан через агента согласился пойти навстречу.

Шалини Динеш (Shalini Dinesh) из Остина предпочитала чат-бот Anthropic Claude, но решила испробовать нового ИИ-агента Meta✴ Muse. Ему женщина поручила организовать вечеринку в честь 13-летия сына. Вечеринка проходила на площадке для пейнтбола, поэтому ИИ-агент составил и разослал родителям сообщения с формой согласия на участие, которую надо было подписать; в сообщении также указывалось, какую одежду надевать детям. Система нашла поблизости готовые доставить еду рестораны, с учётом аллергии у некоторых участников; и подобрала тематические подарочные наборы для детей в соответствии с возрастом. Но не справилась с ситуацией, когда выяснилось, что у двоих детей одинаковые имена — их ИИ-агент учёл как одного человека, но Шалини Динеш успела перепроверить список и исправить ошибку.

Джесси Леви (Jesse Levey), основатель стартапа из района бухты Сан-Франциско, попытался использовать Meta✴ Muse для работы с расписанием своих троих детей. Он начал вручную переносить в Muse данные о стандартном расписании детей на неделю из своего календаря, но понял, что это будет слишком хлопотно, учитывая, что в секциях и кружках пользуются специфическими приложениями, а совместные поездки обсуждаются в групповых чатах.

Дети занимаются в лыжной секции, и у неё есть специальное приложение с календарём; используются также SMS, WhatsApp, электронная почта, приложения календаря и ещё около 65 других приложений, к которым системе потребовался бы доступ. Тогда господин Леви спросил у Anthropic Claude, нет ли более мощного ИИ-агента, который сможет управлять расписанием его детей с учётом требования к конфиденциальности и безопасности. Тот предложил нанять для этого человека — он точно сможет «гоняться за местами в летних лагерях, импровизировать, когда дети болеют, и принимать десяток решений в неделю, с которыми не справится ни одна система». Создание версии такой системы на основе ИИ «потребовало бы нескольких месяцев вашего внимания», предостерёг Claude.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В ИИ-лабораториях обыгрываются сценарии масштабной катастрофы — она может произойти в течение года 23 мин.
Белый дом отныне будет требовать от разработчиков ИИ обязательного предоставления отчётов об инцидентах с моделями 2 ч.
Новая статья: RetroSpace — осторожно, уборщик галактику спасает. Рецензия 10 ч.
Девять из десяти клиентов VMware задумались об уходе из-за высоких цен 10 ч.
Apple Hills Digital: предобученные модели и интеграция с данными для заказчиков важнее стоимости ИИ-нагрузки 12 ч.
OpenAI уволила трёх исследователей безопасности ИИ — они опасаются, что компания заставит сотрудников молчать о рисках 13 ч.
Пошаговая ролевая игра Shadow of the Road не выйдет за неделю до GTA VI — Owlcat объявила новую дату релиза 13 ч.
Китайские ИИ-компании скрывают, насколько опасны их модели — публичных тестов почти нет 14 ч.
Продюсер Konami рассказал о планах на продолжение Silent Hill 18 ч.
ИИ-агенты ошибаются опаснее чат-ботов — они сливают личные данные и совершают покупки без разрешения 18 ч.
Несмотря на задержки, Amazon обещает запустить спутниковый интернет-сервис в ближайшее время 31 мин.
Президент Трамп объявил врагами всех, кто не готов использовать термин «сверхинтеллект» 3 ч.
Тим Кук заявил, что не вмешивается в работу нового генерального директора Apple 4 ч.
Frore Systems анонсировала СЖО LiquidJet Diamond с алмазными пластинами 11 ч.
Google «выжмет» из АЭС Constellation ещё 890 МВт для своих ИИ ЦОД 13 ч.
Понаехали: власти США обвинили Microsoft в замене американцев мигрантами и отстранили её от программы грин-карт 14 ч.
Volkswagen закончила эпоху ID.4 — представлен электрический кроссовер ID. Tiguan с запасом хода до 600 км 14 ч.
NVIDIA Vera показал превосходство над чипами AMD и Intel в HPC-бенчмарках 15 ч.
«В 50 раз больше Пентагона»: Broadcom намерена привлечь $50 млрд на ИИ-чипы, а SpaceX — $40 млрд 17 ч.
E1.L вместимостью до 122,88 Тбайт: Kioxia представила QLC SSD серии LD4 17 ч.