Сегодня 19 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследователи обманом заставили ChatGPT выдать информацию из обучающего массива

Учёные из подразделения Google DeepMind и ряда крупных университетов установили, что системы искусственного интеллекта «запоминают» как минимум часть полученной при обучении информации и могут выдавать её в исходном виде, включая персональные данные людей. Для этого, в частности, используется метод «атаки дивергенции» (Divergence Attack) — большой языковой модели отдаётся команда повторять одно и то же слово. Объяснения этому эффекту пока нет.

 Источник изображения: Viralyft / unsplash.com

Источник изображения: Viralyft / unsplash.com

Когда в ответах ИИ начали появляться фрагменты материалов, использованных при обучении, исследователи задались целью понять, какой объём данных ИИ запоминает и может воспроизвести, и какого рода может быть эта информация. Они также решили установить, может ли сторонний субъект извлечь данные из обучающего массива, не зная наперёд, что в нём содержится. Учёные провели серию экспериментов с различными языковыми моделями, включая наиболее известные, такие как GPT-Neo, LLaMA и ChatGPT. Они сгенерировали миллиарды токенов — слов или символов, в зависимости от модели — и сравнили, соответствуют ли ответы данным, которые использовались при обучении этих моделей. В ходе работы был обнаружен уникальный метод тестирования ChatGPT, предполагающий повторение одного слова большое количество раз, после чего ИИ внезапно начинает генерировать случайный контент.

Как выяснилось, эти модели не только запоминают фрагменты обучающих данных, но и способны воспроизводить их в исходном виде по правильной команде. Не стал исключением и ChatGPT, разработчики которого провели отдельную настройку для предотвращения подобного эффекта. Исследователи обращают внимание разработчиков на острую необходимость всестороннего тестирования моделей ИИ — оно должно касаться не только аспектов взаимодействия с широким кругом пользователей в веб-интерфейсе, но также лежащей в основе сервиса нейросети и системы взаимодействия по API. Целостный подход к безопасности необходим для выявления скрытых уязвимостей, которые в противном случае остаются незамеченными.

 Источник изображения: arxiv.org

Источник изображения: arxiv.org

В ходе экспериментов учёные извлекали исходные обучающие данные различных типов: от подробного доклада об инвестиционном исследовании до конкретного кода на Python, решающего задачи в области машинного обучения. Наибольший интерес представляет обнаруженная при взаимодействии с ChatGPT «атака дивергенции» — если заставить систему повторять одно и то же слово, она начинает выдавать полученные при обучении данные. Чтобы проиллюстрировать этот эффект, учёные показали, что при повторении слова «стихотворение» (poem) ChatGPT внезапно выдал список контактных данных реального человека. Персональные данные в этом исследовании учёных встречались довольно часто — они выделили 15 тыс. сгенерированных подстрок, которые пришлось проанализировать отдельно: в 16,9 % случаев это были персональные данные, которые ИИ в исходном виде «запомнил» при обучении; в 85,8 % случаев это были прочие совпадения с реальными данными.

По мнению исследователей, это указывает на серьёзные проблемы ИИ-моделей с конфиденциальностью. И разработчикам систем ИИ необходимо понимать, что исправить конкретные уязвимости в алгоритмах пользовательского интерфейса недостаточно — необходимо вмешательство в архитектуру самих моделей. То есть можно установить фильтр ввода-вывода на выдачу персональных данных при ответах, преднамеренных и случайных, но он не решит более серьёзной проблемы: модель склонна запоминать и в принципе способна раскрывать фрагменты обучающих данных, которые носят конфиденциальный характер. Это значит, что требуется дополнительная работа по дедупликации (удалению повторяющихся элементов) данных и понимание влияния ёмкости модели на эффект запоминания. Необходима также выработка надёжных методов проверки запоминания.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Cast n Chill — вы, сэр, рыба. Рецензия 3 ч.
Возвращение к шутерам от первого лица: Ubisoft подтвердила разработку новой Ghost Recon 3 ч.
Кооперативный боевик Contraband от создателей Just Cause всё ещё жив, но оказался игрой-сервисом 5 ч.
Meta отказалась соблюдать «чрезмерные» правила разработки ИИ, предложенные ЕС 6 ч.
Microsoft уличили в допуске китайцев к секретным облачными системами Пентагона 6 ч.
Legacy of the Forge «уже не за горами» — Warhorse раскрыла, когда ждать новостей о втором дополнении к Kingdom Come: Deliverance 2 7 ч.
Перевод на русский, Denuvo и первые детали геймплея: Persona 4 Revival получила страницу в Steam 8 ч.
Netflix призналась, что начала использовать ИИ при создании сериалов 9 ч.
Фэнтезийная 4X-стратегия Endless Legend 2 от создателей Humankind не выйдет 7 августа в раннем доступе Steam, но есть и хорошая новость 10 ч.
iOS 26 защитит пользователей iPhone от телефонных спамеров 10 ч.
Углеродные выбросы Amazon выросли в 2024 году на 6 % из-за ИИ ЦОД и любителей шопинга 3 ч.
Австрийцы упаковали электромобильный аккумулятор в корпус из дерева и стали 6 ч.
В Роттердаме запустят беспилотные рейсовые автобусы между городом и аэропортом 6 ч.
Asus представила материнскую плату ROG Strix X870-H Gaming WiFi7 S с ярким аниме-дизайном 7 ч.
ASRock представила плату X870E Taichi OCF для экстремального разгона Ryzen 9000 и другие новинки с AM5 9 ч.
США намерены ослабить влияние Китая на подводную интернет-инфраструктуру, но у них это вряд ли получится 10 ч.
Российские учёные создали фотонный детектор с «обонянием» — он учует опасные газы в воздухе, диабет и алкогольную вечеринку 11 ч.
Передовые твердотельные батареи в электромобилях появятся в лучшем случае через пять лет 11 ч.
В России впервые запущено производство особо чистого тетрахлорида германия для выпуска оптоволокна 13 ч.
Китайский охотник за астероидами испытал камеры на Земле и Луне — и поделился впечатляющими снимками 14 ч.