Сегодня 30 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Хакер внедрил в ChatGPT ложные воспоминания для кражи пользовательских данных

У ChatGPT обнаружена уязвимость, которая позволяет потенциальному злоумышленнику внедрять в долгосрочную память чат-бота о пользователе ложную информацию при помощи вредоносных запросов — это открывает доступ к персональным данным жертвы. В OpenAI открытие, сделанное экспертом по кибербезопасности Иоганном Рейбергером (Johann Rehberger), поначалу сочли незначительной угрозой и быстро закрыли расследование.

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

При эксплуатации уязвимости злоумышленник получает доступ к долговременной памяти переписки — эту функцию OpenAI начала тестировать в феврале и выпустила в общий доступ в сентябре. Память ChatGPT хранит важную информацию из переписки с пользователем и использует её в качестве контекста во всех будущих диалогах. Большая языковая модель знает о пользователе такие сведения, как его возраст, пол, убеждения и многое другое, поэтому некоторые данные не приходится вводить при каждой последующей переписке.

Рейбергер, однако, обнаружил, что с помощью непрямой инъекции внутри запроса можно создавать искусственные записи в памяти ChatGPT — такой инъекцией могут быть электронные письма, записи в блогах и электронные документы. Исследователь продемонстрировал, как можно обмануть ChatGPT, заставив искусственный интеллект поверить, что целевому пользователю 102 года, он живёт в «Матрице» и считает Землю плоской. Во всех последующих разговорах с пользователем ИИ отталкивался от этих ложных данных. Ложные воспоминания внедрялись с помощью файлов в хранилищах Google Диска и Microsoft OneDrive, загрузки файлов и просмотра сайтов, включая Bing.

В мае эксперт сообщил о своём открытии OpenAI, но компания закрыла тикет обращения в том же месяце. Месяц спустя Рейбергер подал повторное обращение, к которому приложил модель взлома — она заставила приложение ChatGPT для macOS отправлять всю переписку пользователя с чат-ботом на сервер, выбранный потенциальным злоумышленником. Для этого было достаточно указать ИИ открыть ссылку, по которой загружалось вредоносное изображение — после этого хакер получал все журналы диалогов человека и машины. Извлечение данных продолжалось даже при запуске новой переписки.

Впоследствии OpenAI частично исправила уязвимость, закрыв возможность эксплуатировать функцию памяти в качестве вектора для извлечения данных. Однако, по мнению Рейбергера, возможность делать это с помощью инъекций в составе вредоносных запросов всё ещё сохраняется. Пользователям ChatGPT рекомендовано отмечать время сеансов, при которых добавляются новые материалы в память ИИ, а также регулярно проверять память на наличие инъекций от ненадёжных источников. Для управления функцией памяти OpenAI подготовила инструкцию.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Италия запустила проверку Meta из-за внедрения ИИ-чат-бота в WhatsApp 2 ч.
Meta разрешит программистам пользоваться ИИ на собеседованиях 2 ч.
«Яндекс» раскрыл алгоритм распознавания голосовых команд в шумных условиях 2 ч.
FromSoftware отложила горячо ожидаемое обновление для Elden Ring Nightreign из-за сильнейшего землетрясения на Камчатке 3 ч.
Microsoft прекратила предоставлять облачные услуги связанной с «Роснефтью» индийской Nayara Energy 3 ч.
YouTube разрешил блогерам материться — у видео со сквернословием не будут ограничивать монетизацию 3 ч.
Electronic Art готовит «самую захватывающую» линейку игр в своей истории — Battlefield 6 не будет стоить $80 4 ч.
Meta переманила из Apple уже четвёртого крупного специалиста в сфере ИИ за месяц 4 ч.
Opera подала жалобу на уловки Microsoft, заставляющие использовать её браузер Edge 4 ч.
Культовая ролевая игра The Temple of Elemental Evil от соавторов Fallout получит новую жизнь благодаря издателю «Приключений капитана Блада» 6 ч.
Представлен китайский серверный процессор Zhaoxin KH-50000: до 96 ядер, 12 каналов DDR5 и 128 линий PCIe 5.0 59 мин.
Micron представила SSD на 122 Тбайт и 14 000 Мбайт/с — следующая модель будет в два раза ёмче 59 мин.
Австралия впервые запустила свою космическую ракету — полёт продлился всего 14 секунд и завершился взрывом 2 ч.
Неожиданный эффект ИИ-бума: прибыль аккумуляторного бизнеса Panasonic взлетела на 47 % 2 ч.
Futurehome вынудила пользователей платить за базовые функции своих устройств умного дома 2 ч.
Цены на DDR4 стабилизировались, а флеш-память NAND приготовилась дорожать 3 ч.
Micron представила новые SSD для дата-центров: PCIe 6.0, до 28 Гбайт/с и до 122,88 Тбайт 3 ч.
Micron представила первый в мире SSD с PCIe 6.0 — серверный Micron 9650 со скоростью 28 Гбайт/с 4 ч.
В России разработали отечественную сверхлёгкую ракету для запуска спутников 4 ч.
Провал Cybertruck не заставил Tesla отменить выпуск более компактного электрического пикапа 4 ч.