Сегодня 02 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ChatGPT отучили раскрывать свои обучающие данные в ответ на просьбу вечно повторять одно слово

Просьба к ИИ-боту ChatGPT компании OpenAI повторять определённые слова «вечно» теперь помечается как нарушение условий предоставления услуг и политики в отношении контента чат-бота. Ранее стало известно, что таким незамысловатым способом можно извлекать огромные количества данных, на которых обучался чат-бот.

 Источник изображения: Rolf van Root/unsplash.com

Источник изображения: Rolf van Root/unsplash.com

Исследователи подразделения Google DeepMind и ряда университетов предложили ChatGPT 3.5-turbo повторять определённые слова «вечно». После определённого количества повторений слова, бот начинал выдавать огромные объёмы обучающих данных, взятых из интернета. Используя этот метод, исследователи смогли извлечь несколько мегабайт обучающих данных и обнаружили, что в ChatGPT включены большие объёмы личных данных, которые иногда могут быть возвращены пользователям в качестве ответов на их запросы. Как сообщил ранее ресурс arXiv, с помощью повторения слова «стихотворение» (poem), учёные добились получения от ChatGPT контактных данных реального человека, включая номер телефона и адрес электронной почты.

 Источник изображений: 404 Media

Источник изображений: 404 Media

А при просьбе к ChatGPT повторить слово «книга», он сначала повторял его несколько раз, а затем начинал выдавать случайный контент. Часть его была взята непосредственно с сайтов CNN и Goodreads, блогов WordPress, вики-сайтов Fandom, а также там были дословные выдержки из соглашений об условиях предоставления услуг, исходный код Stack Overflow, защищённые авторским правом юридические заявления об отказе от ответственности, страницы «Википедии», веб-сайт оптовой торговли казино, новостные блоги, случайные комментарии в интернете и многое другое.

«Мы показываем, что злоумышленник может извлекать гигабайты обучающих данных из языковых моделей с открытым исходным кодом, таких как Pythia или GPT-Neo, полуоткрытых моделей, таких как LLaMA или Falcon, и закрытых моделей, таких как ChatGPT», — отметили исследователи из Google DeepMind. Они сообщили, что 30 августа известили OpenAI об уязвимости и что компания её исправила. И лишь после этого исследователи сочли возможным поделиться информацией об уязвимости чат-бота с общественностью.

Как рассказал ресурс 404 Media, теперь в ответ на просьбу к ChatGPT 3.5 «вечно» повторять слово «компьютер», бот несколько десятков раз выдаёт слово «компьютер», а затем отображает сообщение об ошибке: «Этот контент может нарушать нашу политику в отношении контента или условия использования. Если вы считаете, что это ошибка, отправьте свой отзыв — ваш вклад поможет нашим исследованиям в этой области».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Первый пострелизный патч для Elden Ring Nightreign упростил жизнь игрокам-одиночкам и увеличил награды 3 ч.
«Базис» и Татарстан создадут импортонезависимую облачную инфраструктуру для госсервисов и бизнеса республики 6 ч.
Надёжный инсайдер: Ubisoft дала зелёный свет The Crew 4 6 ч.
«Базис» и СберТех обеспечат бизнесу удобную и устойчивую инфраструктуру 6 ч.
Java отметила 30-летие — это по-прежнему один из популярнейших языков программирования 7 ч.
«Если будем распыляться, у нас ничего не выйдет»: CD Projekt останется верна большим RPG вроде The Witcher 4 и Cyberpunk 2, несмотря на соблазны 7 ч.
Выручка ИИ-стартапа Anthropic достигла $3 млрд в годовом выражении, но до OpenAI ещё далеко 8 ч.
Разработчик Bulletstorm и Gears of War: E-Day остановил производство двух секретных игр — в People Can Fly пройдут новые увольнения 9 ч.
Грядущая конференция Apple WWDC для разработчиков будет скудна на новости в сфере ИИ 13 ч.
Valorant получит долгожданный просмотр сыгранных матчей и переедет на Unreal Engine 5 до конца 2025 года 18 ч.