Сегодня 22 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Хакер внедрил в ChatGPT ложные воспоминания для кражи пользовательских данных

У ChatGPT обнаружена уязвимость, которая позволяет потенциальному злоумышленнику внедрять в долгосрочную память чат-бота о пользователе ложную информацию при помощи вредоносных запросов — это открывает доступ к персональным данным жертвы. В OpenAI открытие, сделанное экспертом по кибербезопасности Иоганном Рейбергером (Johann Rehberger), поначалу сочли незначительной угрозой и быстро закрыли расследование.

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

При эксплуатации уязвимости злоумышленник получает доступ к долговременной памяти переписки — эту функцию OpenAI начала тестировать в феврале и выпустила в общий доступ в сентябре. Память ChatGPT хранит важную информацию из переписки с пользователем и использует её в качестве контекста во всех будущих диалогах. Большая языковая модель знает о пользователе такие сведения, как его возраст, пол, убеждения и многое другое, поэтому некоторые данные не приходится вводить при каждой последующей переписке.

Рейбергер, однако, обнаружил, что с помощью непрямой инъекции внутри запроса можно создавать искусственные записи в памяти ChatGPT — такой инъекцией могут быть электронные письма, записи в блогах и электронные документы. Исследователь продемонстрировал, как можно обмануть ChatGPT, заставив искусственный интеллект поверить, что целевому пользователю 102 года, он живёт в «Матрице» и считает Землю плоской. Во всех последующих разговорах с пользователем ИИ отталкивался от этих ложных данных. Ложные воспоминания внедрялись с помощью файлов в хранилищах Google Диска и Microsoft OneDrive, загрузки файлов и просмотра сайтов, включая Bing.

В мае эксперт сообщил о своём открытии OpenAI, но компания закрыла тикет обращения в том же месяце. Месяц спустя Рейбергер подал повторное обращение, к которому приложил модель взлома — она заставила приложение ChatGPT для macOS отправлять всю переписку пользователя с чат-ботом на сервер, выбранный потенциальным злоумышленником. Для этого было достаточно указать ИИ открыть ссылку, по которой загружалось вредоносное изображение — после этого хакер получал все журналы диалогов человека и машины. Извлечение данных продолжалось даже при запуске новой переписки.

Впоследствии OpenAI частично исправила уязвимость, закрыв возможность эксплуатировать функцию памяти в качестве вектора для извлечения данных. Однако, по мнению Рейбергера, возможность делать это с помощью инъекций в составе вредоносных запросов всё ещё сохраняется. Пользователям ChatGPT рекомендовано отмечать время сеансов, при которых добавляются новые материалы в память ИИ, а также регулярно проверять память на наличие инъекций от ненадёжных источников. Для управления функцией памяти OpenAI подготовила инструкцию.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Почти идеальный финал, крутой геймплей и 20 часов на сюжет: Techland раскрыла новые подробности Dying Light: The Beast 22 мин.
В Spotify в профилях покойных музыкантов стали появляться песни, созданные ИИ — сервис «принимает меры» 27 мин.
Госдума окончательно запретила россиянам искать экстремистские материалы в интернете 56 мин.
Один из самых драматичных сюжетных поворотов Clair Obscur: Expedition 33 появился в игре благодаря шутке 2 ч.
Сериал по Mass Effect в надёжных руках: производством шоу займётся команда «Фоллаут» 4 ч.
«Нейроаналитик» «Яндекса» ускорит анализ и визуализацию данных 5 ч.
«Т-Банк» выпустил ИИ-модель распознавания речи с открытым исходным кодом — T-one 5 ч.
Copilot+PC на чипах AMD и Intel наконец получили новые ИИ-функции — на три месяца позже, чем Snapdragon X 7 ч.
Electronic Arts анонсировала открытую «бету» Battlefield 6, а в приложении EA App засветились её подробности 7 ч.
Плохо прогнозируемый эффект от применения ИИ — один из основных барьеров, сдерживающих его использование в промышленности 7 ч.
Два миллиона GPU и 4,5 ГВт: Oracle и OpenAI договорились построить в США дата-центры для ИИ 2 ч.
Galax GeForce RTX 5080 NOX OC Black Edition получила зеркальную панель и магнитный кожух 2 ч.
Устройства Google Home и Nest перестали понимать команды — и никто не знает почему 2 ч.
Учёные впервые увидели звезду-компаньона у Бетельгейзе — жить ей осталось недолго 2 ч.
Samsung Display оснастит флагманские Mercedes-Maybach огромными OLED-дисплеями 2 ч.
«Яндекс» начал продажи умной колонки «Станции Мини 3 Про» с модульной конструкцией и ценой 12 тыс. рублей 3 ч.
AAEON выпустила индустриальный одноплатный компьютер PICO-TWL4 на базе Intel Twin Lake 4 ч.
Tesla отпраздновала выпуск 3 миллионов Model 3 — по одной машине каждые 90 секунд 4 ч.
В NASA рассказали, как спасли камеру зонда «Юнона» в окрестностях Юпитера 5 ч.
Китайская MG выпустит электромобиль за $11 000 с полутвердотельным аккумулятором и запасом хода 537 км 5 ч.