Сегодня 28 февраля 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследователи обманом заставили ChatGPT выдать информацию из обучающего массива

Учёные из подразделения Google DeepMind и ряда крупных университетов установили, что системы искусственного интеллекта «запоминают» как минимум часть полученной при обучении информации и могут выдавать её в исходном виде, включая персональные данные людей. Для этого, в частности, используется метод «атаки дивергенции» (Divergence Attack) — большой языковой модели отдаётся команда повторять одно и то же слово. Объяснения этому эффекту пока нет.

 Источник изображения: Viralyft / unsplash.com

Источник изображения: Viralyft / unsplash.com

Когда в ответах ИИ начали появляться фрагменты материалов, использованных при обучении, исследователи задались целью понять, какой объём данных ИИ запоминает и может воспроизвести, и какого рода может быть эта информация. Они также решили установить, может ли сторонний субъект извлечь данные из обучающего массива, не зная наперёд, что в нём содержится. Учёные провели серию экспериментов с различными языковыми моделями, включая наиболее известные, такие как GPT-Neo, LLaMA и ChatGPT. Они сгенерировали миллиарды токенов — слов или символов, в зависимости от модели — и сравнили, соответствуют ли ответы данным, которые использовались при обучении этих моделей. В ходе работы был обнаружен уникальный метод тестирования ChatGPT, предполагающий повторение одного слова большое количество раз, после чего ИИ внезапно начинает генерировать случайный контент.

Как выяснилось, эти модели не только запоминают фрагменты обучающих данных, но и способны воспроизводить их в исходном виде по правильной команде. Не стал исключением и ChatGPT, разработчики которого провели отдельную настройку для предотвращения подобного эффекта. Исследователи обращают внимание разработчиков на острую необходимость всестороннего тестирования моделей ИИ — оно должно касаться не только аспектов взаимодействия с широким кругом пользователей в веб-интерфейсе, но также лежащей в основе сервиса нейросети и системы взаимодействия по API. Целостный подход к безопасности необходим для выявления скрытых уязвимостей, которые в противном случае остаются незамеченными.

 Источник изображения: arxiv.org

Источник изображения: arxiv.org

В ходе экспериментов учёные извлекали исходные обучающие данные различных типов: от подробного доклада об инвестиционном исследовании до конкретного кода на Python, решающего задачи в области машинного обучения. Наибольший интерес представляет обнаруженная при взаимодействии с ChatGPT «атака дивергенции» — если заставить систему повторять одно и то же слово, она начинает выдавать полученные при обучении данные. Чтобы проиллюстрировать этот эффект, учёные показали, что при повторении слова «стихотворение» (poem) ChatGPT внезапно выдал список контактных данных реального человека. Персональные данные в этом исследовании учёных встречались довольно часто — они выделили 15 тыс. сгенерированных подстрок, которые пришлось проанализировать отдельно: в 16,9 % случаев это были персональные данные, которые ИИ в исходном виде «запомнил» при обучении; в 85,8 % случаев это были прочие совпадения с реальными данными.

По мнению исследователей, это указывает на серьёзные проблемы ИИ-моделей с конфиденциальностью. И разработчикам систем ИИ необходимо понимать, что исправить конкретные уязвимости в алгоритмах пользовательского интерфейса недостаточно — необходимо вмешательство в архитектуру самих моделей. То есть можно установить фильтр ввода-вывода на выдачу персональных данных при ответах, преднамеренных и случайных, но он не решит более серьёзной проблемы: модель склонна запоминать и в принципе способна раскрывать фрагменты обучающих данных, которые носят конфиденциальный характер. Это значит, что требуется дополнительная работа по дедупликации (удалению повторяющихся элементов) данных и понимание влияния ёмкости модели на эффект запоминания. Необходима также выработка надёжных методов проверки запоминания.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Google объяснила, как Wear OS 4 значительно повышает время автономной работы смарт-часов 20 мин.
«Позор для сообщества Xbox»: бывший эксклюзив Microsoft вышел на PS5 в лучшем виде, чем доступен на Xbox 6 ч.
Еженедельный чарт Steam: новинки заняли почти половину топ-10, а Elden Ring вернулась в тройку лидеров после открытия предзаказа DLC 6 ч.
ВТБ переведёт десятки тысяч рабочих мест на отечественную ОС Astra Linux 8 ч.
Инсайдер раскрыл главную игру мартовской подборки PS Plus за день до официального анонса 8 ч.
Sony отменила новую Twisted Metal 9 ч.
Сегодняшний сбой в Рунете объяснили проверкой спецслужб и настройкой шлюзов Роскомнадзора 10 ч.
Покемоны следующего поколения: анонсирована Pokemon Legends: Z-A для «систем семейства Nintendo Switch» 10 ч.
Qualcomm представила AI Hub — «инструмент мечты» для создания ИИ-приложений, работающих локально 10 ч.
PlayStation объявила о массовых сокращениях — увольнение 900 сотрудников, закрытие внутренней студии Sony, отмена игр 11 ч.
К концу 2025 года Intel готова оснастить своими процессорами с ИИ до 100 млн ПК 36 мин.
Qualcomm показала, что её компьютерный чип Snapdragon X Elite до 10 раз быстрее Intel Core Ultra в ИИ-задачах по генерации изображений 60 мин.
Tecno представила смартфон Camon 30 Premier 5G с технологией PolarAce и другие модели серии 6 ч.
Новая статья: Обзор видеокарты NVIDIA GeForce RTX 4070 Ti SUPER: RTX 4080 на минималках 6 ч.
«Тантор Лабс» и «Аквариус» представили программно-аппаратную БД-платформу Tantor XData 7 ч.
Gigabyte представила новые серверы для ИИ, 5G и периферийных вычислений 8 ч.
«Морион» наладил в Перми серийное производство отечественных управляемых Ethernet-коммутаторов 9 ч.
Российские учёные создали прозрачные электроды для умных окон, оптоэлектроники и солнечных панелей 9 ч.
Huawei CLoud запустит облачный регион в Египте и построит ИИ-центр в Гонконге 9 ч.
Onyx представила 7-дюймовую электронную книгу Boox Leaf 3C на цветном экране E Ink Kaleido 3 11 ч.