Сегодня 01 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Хакер внедрил в ChatGPT ложные воспоминания для кражи пользовательских данных

У ChatGPT обнаружена уязвимость, которая позволяет потенциальному злоумышленнику внедрять в долгосрочную память чат-бота о пользователе ложную информацию при помощи вредоносных запросов — это открывает доступ к персональным данным жертвы. В OpenAI открытие, сделанное экспертом по кибербезопасности Иоганном Рейбергером (Johann Rehberger), поначалу сочли незначительной угрозой и быстро закрыли расследование.

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

При эксплуатации уязвимости злоумышленник получает доступ к долговременной памяти переписки — эту функцию OpenAI начала тестировать в феврале и выпустила в общий доступ в сентябре. Память ChatGPT хранит важную информацию из переписки с пользователем и использует её в качестве контекста во всех будущих диалогах. Большая языковая модель знает о пользователе такие сведения, как его возраст, пол, убеждения и многое другое, поэтому некоторые данные не приходится вводить при каждой последующей переписке.

Рейбергер, однако, обнаружил, что с помощью непрямой инъекции внутри запроса можно создавать искусственные записи в памяти ChatGPT — такой инъекцией могут быть электронные письма, записи в блогах и электронные документы. Исследователь продемонстрировал, как можно обмануть ChatGPT, заставив искусственный интеллект поверить, что целевому пользователю 102 года, он живёт в «Матрице» и считает Землю плоской. Во всех последующих разговорах с пользователем ИИ отталкивался от этих ложных данных. Ложные воспоминания внедрялись с помощью файлов в хранилищах Google Диска и Microsoft OneDrive, загрузки файлов и просмотра сайтов, включая Bing.

В мае эксперт сообщил о своём открытии OpenAI, но компания закрыла тикет обращения в том же месяце. Месяц спустя Рейбергер подал повторное обращение, к которому приложил модель взлома — она заставила приложение ChatGPT для macOS отправлять всю переписку пользователя с чат-ботом на сервер, выбранный потенциальным злоумышленником. Для этого было достаточно указать ИИ открыть ссылку, по которой загружалось вредоносное изображение — после этого хакер получал все журналы диалогов человека и машины. Извлечение данных продолжалось даже при запуске новой переписки.

Впоследствии OpenAI частично исправила уязвимость, закрыв возможность эксплуатировать функцию памяти в качестве вектора для извлечения данных. Однако, по мнению Рейбергера, возможность делать это с помощью инъекций в составе вредоносных запросов всё ещё сохраняется. Пользователям ChatGPT рекомендовано отмечать время сеансов, при которых добавляются новые материалы в память ИИ, а также регулярно проверять память на наличие инъекций от ненадёжных источников. Для управления функцией памяти OpenAI подготовила инструкцию.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Запуски ракет NASA и работу астронавтов в открытом космосе начнут показывать на Netflix 5 мин.
Siri может поумнеть с помощью ИИ OpenAI или Anthropic — у Apple не получается обучить достойный ИИ самостоятельно 6 мин.
Warhammer 40,000: Space Marine 2 продолжит получать новый контент — подробности крупного обновления 10.0 35 мин.
«Яндекс» открыл бесплатный доступ к своей лучшей нейросети YandexGPT 5 Pro через «Чат с Алисой» 2 ч.
Стартапу xAI Илона Маска удалось недавно привлечь в общей сложности $10 млрд 5 ч.
Руководство OpenAI признало, что конкуренция за ценные кадры вынуждает его шевелиться 8 ч.
Марк Цукерберг собрал звёздную команду для разработки суперинтеллекта 9 ч.
Microsoft испытала ИИ-доктора MAI-DxO, который ставит диагнозы в 4 раза точнее врачей 13 ч.
The Blood of Dawnwalker, Code Vein 2 и многие другие: анонсирована игровая презентация Bandai Namco Summer Showcase 2025 15 ч.
Комиссионный хаос: Apple изменила правила App Store для ЕС так, что теперь их никто не понимает 15 ч.
Xiaomi задействовала 1000 роботов и передовые технологии для сборки электромобилей 10 мин.
Google договорилась о покупке термоядерной энергии у детища MIT — Commonwealth Fusion Systems 40 мин.
Россияне стали чаще покупать ноутбуки без операционной системы — так дешевле 2 ч.
Blue Origin в 13-й раз свозила туристов на границу космоса — и 1000 открыток в придачу 2 ч.
Amazon запустила инстансы EC2 C8gn с чипами Graviton4 для требовательных сетевых нагрузок 2 ч.
Вышел модуль Raspberry Pi Radio Module 2 с поддержкой Wi-Fi 4 за $4 2 ч.
ИИ-модель DeepSeek R1 заработала на суверенных китайских ускорителях Sophgo 2 ч.
Оригинальная Nintendo Switch подорожает спустя восемь лет после запуска — пока только в Канаде 4 ч.
Крупнейший в истории AWS ИИ-суперкомпьютер Project Rainier охватит несколько ЦОД, но будет экологичным 5 ч.
В России открылись предзаказы на смартфоны Honor 400 и 400 Pro с 200-Мп камерами — от 40 990 рублей 5 ч.