Сегодня 24 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ChatGPT отучили раскрывать свои обучающие данные в ответ на просьбу вечно повторять одно слово

Просьба к ИИ-боту ChatGPT компании OpenAI повторять определённые слова «вечно» теперь помечается как нарушение условий предоставления услуг и политики в отношении контента чат-бота. Ранее стало известно, что таким незамысловатым способом можно извлекать огромные количества данных, на которых обучался чат-бот.

 Источник изображения: Rolf van Root/unsplash.com

Источник изображения: Rolf van Root/unsplash.com

Исследователи подразделения Google DeepMind и ряда университетов предложили ChatGPT 3.5-turbo повторять определённые слова «вечно». После определённого количества повторений слова, бот начинал выдавать огромные объёмы обучающих данных, взятых из интернета. Используя этот метод, исследователи смогли извлечь несколько мегабайт обучающих данных и обнаружили, что в ChatGPT включены большие объёмы личных данных, которые иногда могут быть возвращены пользователям в качестве ответов на их запросы. Как сообщил ранее ресурс arXiv, с помощью повторения слова «стихотворение» (poem), учёные добились получения от ChatGPT контактных данных реального человека, включая номер телефона и адрес электронной почты.

 Источник изображений: 404 Media

Источник изображений: 404 Media

А при просьбе к ChatGPT повторить слово «книга», он сначала повторял его несколько раз, а затем начинал выдавать случайный контент. Часть его была взята непосредственно с сайтов CNN и Goodreads, блогов WordPress, вики-сайтов Fandom, а также там были дословные выдержки из соглашений об условиях предоставления услуг, исходный код Stack Overflow, защищённые авторским правом юридические заявления об отказе от ответственности, страницы «Википедии», веб-сайт оптовой торговли казино, новостные блоги, случайные комментарии в интернете и многое другое.

«Мы показываем, что злоумышленник может извлекать гигабайты обучающих данных из языковых моделей с открытым исходным кодом, таких как Pythia или GPT-Neo, полуоткрытых моделей, таких как LLaMA или Falcon, и закрытых моделей, таких как ChatGPT», — отметили исследователи из Google DeepMind. Они сообщили, что 30 августа известили OpenAI об уязвимости и что компания её исправила. И лишь после этого исследователи сочли возможным поделиться информацией об уязвимости чат-бота с общественностью.

Как рассказал ресурс 404 Media, теперь в ответ на просьбу к ChatGPT 3.5 «вечно» повторять слово «компьютер», бот несколько десятков раз выдаёт слово «компьютер», а затем отображает сообщение об ошибке: «Этот контент может нарушать нашу политику в отношении контента или условия использования. Если вы считаете, что это ошибка, отправьте свой отзыв — ваш вклад поможет нашим исследованиям в этой области».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Apple исправила главную проблему Liquid Glass — вторая бета iOS 26 стала более читаемой 15 мин.
Конгресс США запретил сотрудникам пользоваться высокорискованным WhatsApp 2 ч.
«Продолжаем держать курс на крутые обновления»: создатели «Мира танков» и «Мира кораблей» нацелены обжаловать решение суда 2 ч.
Одна платформа, чтоб править всеми: в библиотеку Xbox на ПК скоро можно будет добавить игры из Steam, Battle.net и «других ведущих магазинов» 3 ч.
Точки восстановления в Windows 11 теперь живут всего 60 дней 4 ч.
Фольклорный хоррор «Лихо одноглазое» от создателей «Чёрной книги» получил дату выхода в Steam и новый трейлер 4 ч.
Календарь релизов — 23 – 29 июня: Death Stranding 2 и System Shock 2: 25th Anniversary Remaster 6 ч.
Dune: Awakening установила рекорд по скорости продаж для Funcom — более 800 тысяч смертей от Шаи-Хулуда и другие достижения игроков 6 ч.
Broadcom представила VMware Cloud Foundation 9 — основу основ для современного частного облака 10 ч.
Разработчики российского MMO-шутера Pioner раскрыли, как будут улучшать игру по итогам тестирования в Steam 12 ч.