Сегодня 03 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследователи обманом заставили ChatGPT выдать информацию из обучающего массива

Учёные из подразделения Google DeepMind и ряда крупных университетов установили, что системы искусственного интеллекта «запоминают» как минимум часть полученной при обучении информации и могут выдавать её в исходном виде, включая персональные данные людей. Для этого, в частности, используется метод «атаки дивергенции» (Divergence Attack) — большой языковой модели отдаётся команда повторять одно и то же слово. Объяснения этому эффекту пока нет.

 Источник изображения: Viralyft / unsplash.com

Источник изображения: Viralyft / unsplash.com

Когда в ответах ИИ начали появляться фрагменты материалов, использованных при обучении, исследователи задались целью понять, какой объём данных ИИ запоминает и может воспроизвести, и какого рода может быть эта информация. Они также решили установить, может ли сторонний субъект извлечь данные из обучающего массива, не зная наперёд, что в нём содержится. Учёные провели серию экспериментов с различными языковыми моделями, включая наиболее известные, такие как GPT-Neo, LLaMA и ChatGPT. Они сгенерировали миллиарды токенов — слов или символов, в зависимости от модели — и сравнили, соответствуют ли ответы данным, которые использовались при обучении этих моделей. В ходе работы был обнаружен уникальный метод тестирования ChatGPT, предполагающий повторение одного слова большое количество раз, после чего ИИ внезапно начинает генерировать случайный контент.

Как выяснилось, эти модели не только запоминают фрагменты обучающих данных, но и способны воспроизводить их в исходном виде по правильной команде. Не стал исключением и ChatGPT, разработчики которого провели отдельную настройку для предотвращения подобного эффекта. Исследователи обращают внимание разработчиков на острую необходимость всестороннего тестирования моделей ИИ — оно должно касаться не только аспектов взаимодействия с широким кругом пользователей в веб-интерфейсе, но также лежащей в основе сервиса нейросети и системы взаимодействия по API. Целостный подход к безопасности необходим для выявления скрытых уязвимостей, которые в противном случае остаются незамеченными.

 Источник изображения: arxiv.org

Источник изображения: arxiv.org

В ходе экспериментов учёные извлекали исходные обучающие данные различных типов: от подробного доклада об инвестиционном исследовании до конкретного кода на Python, решающего задачи в области машинного обучения. Наибольший интерес представляет обнаруженная при взаимодействии с ChatGPT «атака дивергенции» — если заставить систему повторять одно и то же слово, она начинает выдавать полученные при обучении данные. Чтобы проиллюстрировать этот эффект, учёные показали, что при повторении слова «стихотворение» (poem) ChatGPT внезапно выдал список контактных данных реального человека. Персональные данные в этом исследовании учёных встречались довольно часто — они выделили 15 тыс. сгенерированных подстрок, которые пришлось проанализировать отдельно: в 16,9 % случаев это были персональные данные, которые ИИ в исходном виде «запомнил» при обучении; в 85,8 % случаев это были прочие совпадения с реальными данными.

По мнению исследователей, это указывает на серьёзные проблемы ИИ-моделей с конфиденциальностью. И разработчикам систем ИИ необходимо понимать, что исправить конкретные уязвимости в алгоритмах пользовательского интерфейса недостаточно — необходимо вмешательство в архитектуру самих моделей. То есть можно установить фильтр ввода-вывода на выдачу персональных данных при ответах, преднамеренных и случайных, но он не решит более серьёзной проблемы: модель склонна запоминать и в принципе способна раскрывать фрагменты обучающих данных, которые носят конфиденциальный характер. Это значит, что требуется дополнительная работа по дедупликации (удалению повторяющихся элементов) данных и понимание влияния ёмкости модели на эффект запоминания. Необходима также выработка надёжных методов проверки запоминания.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Джефф Безос: ИИ — это «промышленный пузырь», но он поможет человечеству 3 мин.
Боссы в Resident Evil Requiem проверят не навыки стрельбы, а смекалку игроков 3 ч.
«Выглядит словно Demon's Souls на движке Doom»: сюрреалистический шутер Mohrta получил новый геймплейный трейлер и дату выхода в Steam 4 ч.
Технологии Google губят традиционные сайты — спасительные меры могут сделать только хуже 5 ч.
ВМС США с головой погрузились в облако Microsoft Azure и никак не могут выбраться 5 ч.
2 миллиарда убитых зомби за 25 миллионов часов: разработчики Dying Light: The Beast раскрыли статистику игроков за первые дни после релиза 5 ч.
В открытый доступ попало ещё больше материалов отменённой версии ремейка Star Wars: Knights of the Old Republic 7 ч.
Соавторы инди-хита Peak анонсировали Crashout Crew — безумную кооперативную игру про работу на вилочных погрузчиках 8 ч.
МВД РФ рассказали, где безопаснее всего хранить фото документов и пароли 9 ч.
OpenAI: Маск прикрывает провалы xAI громкими исками к бывшим сотрудникам 9 ч.
В лучших ИИ-ускорителях Huawei нашли чипы TSMC, Samsung и SK hynix, которых в Китае быть не должно 4 мин.
Задержки поставок ИИ-чипов в ОАЭ на десятки миллиардов долларов расстраивают NVIDIA 40 мин.
Видео: электромобиль Xiaomi SU7 сам включился и попытался сбежать от хозяев 2 ч.
В MIT на порядок улучшили батарею из бетона — фундамент сможет питать дом в течение суток и дольше 2 ч.
В России вскоре поступит в продажу защищённый смартфон Honor X9d с батареей на 8300 мА·ч 2 ч.
Почти 50 тыс. сетевых устройств Cisco имеют серьёзные уязвимости нулевого дня 3 ч.
Китайская CXMT освоила 18-нм DRAM с помощью украденных у Samsung секретов, утверждает следствие 3 ч.
Устройство Ampinel добавит видеокартам то, чего лишила их Nvidia — балансировку питания для защиты от расплавления 4 ч.
РСК и HTS предложат передовые СЖО для дата-центров 4 ч.
У планеты-изгоя проснулся аппетит уровня звезды: она внезапно стала поглощать 6 млрд тонн вещества в секунду 4 ч.