Сегодня 03 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Cloudflare обновила robots.txt: теперь сайты могут запретить ИИ-чат-ботам воровать контент

Cloudflare объявила о поддержке новых директив для файла robots.txt, учитывающих, что сайты теперь посещают роботы не только поисковых систем, но и чат-ботов с искусственным интеллектом.

 Источник изображения: cloudflare.com

Источник изображения: cloudflare.com

Файл robots.txt можно найти почти на каждом веб-сайте. В нём содержатся директивы по поводу того, какие страницы поисковые системы и боты могут посещать, а какие — не могут. Требования этого файла технически не являются обязательными к выполнению, но на заре интернета, когда службы вроде Google их соблюдали, проблем не возникало. Всё изменило появление ИИ: чат-боты не индексируют сайты в традиционном смысле, а копируют их содержимое для обучения или генерации ответов.

Системы многих занимающихся ИИ компаний попросту игнорируют robots.txt или маскируются под поисковые роботы, чтобы обходить ограничения. Cloudflare занимается защитой около 20 % ресурсов интернета, и у компании есть возможность отслеживать эти процессы в больших масштабах. Поэтому она представила «Политику сигналов о контенте» (Content Signals Policy) — это новый способ для владельцев сайтов установить, разрешают ли он ИИ работать со своими материалами.

Основу новой политики составляют новые инструкции robots.txt. Доступны три варианта:

  • search — использование материалов для создания поискового индекса и вывода ссылок или фрагментов текста в результатах поиска;
  • ai-input — использование контента непосредственно в ответах ИИ, в том числе когда чат-бот извлекает информацию со страницы сайта для генерации ответа;
  • ai-train — использование контента для обучения и тонкой настройки моделей ИИ.
 Источник изображения: Steve Johnson / unsplash.com

Источник изображения: Steve Johnson / unsplash.com

Каждая из этих инструкций может принимать значения «yes» (да) или «no» (нет). То есть владелец сайта может разрешить показывать его контент в результатах поиска, но запретить обучение ИИ на этих материалах. Cloudflare уже развернула эту функцию для более чем 3,8 млн доменов. По умолчанию для поиска установлено положительное значение, для использования материалов в ответах ИИ — отрицательное, а для обучения — никакого, чтобы владелец сайта принимал это решение сам.

Cloudflare фиксирует установки этих директив как юридически значимые, то есть их можно будет использовать в судебных разбирательствах с разработчиками ИИ. Если большинство разработчиков ИИ начнёт соблюдать эти директивы, в интернете де-факто установится новый стандарт — в противном случае грозит возникнуть конфликт с блокировками и мерами юридического характера. Проблемным игроком может оказаться Google, чей Googlebot используется и для индексирования сайтов, и для функций ИИ, поэтому у владельцев сайтов нет возможности отказаться от поддерживаемых технологическим гигантом решений, не потеряв позиций в поисковой выдаче.

Пока же регулирование сегмента ИИ остаётся чрезвычайно отрывочным. Генератор видео OpenAI Sora 2, как оказалось, способен полностью воссоздавать миссии из игры Cyberpunk 2077, хотя едва ли компании давали разрешение на использование этого контента. То же касается таких персонажей как Марио и Пикачу, хотя Nintendo нечасто вступает в конфликты с крупными игроками.

Cloudflare же теперь тестирует функцию «платы за сканирование» — владельцы сайтов смогут брать деньги за доступ ботов к ресурсам. При попытке бесплатного доступа система выведет ошибку 402 — «Требуется оплата» (Payment Required).

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Microsoft предсказала биологические угрозы «нулевого дня» из-за ИИ 21 мин.
Обнаружена уязвимость, которая ставит под угрозу пользователей всех игр на Unity с 2017 года 2 ч.
Cloudflare обновила robots.txt: теперь сайты могут запретить ИИ-чат-ботам воровать контент 2 ч.
Джефф Безос: ИИ — это «промышленный пузырь», но он поможет человечеству 3 ч.
Боссы в Resident Evil Requiem проверят не навыки стрельбы, а смекалку игроков 5 ч.
Технологии Google губят традиционные сайты — спасительные меры могут сделать только хуже 7 ч.
ВМС США с головой погрузились в облако Microsoft Azure и никак не могут выбраться 7 ч.
2 миллиарда убитых зомби за 25 миллионов часов: разработчики Dying Light: The Beast раскрыли статистику игроков за первые дни после релиза 7 ч.
В открытый доступ попало ещё больше материалов отменённой версии ремейка Star Wars: Knights of the Old Republic 9 ч.
Соавторы инди-хита Peak анонсировали Crashout Crew — безумную кооперативную игру про работу на вилочных погрузчиках 10 ч.
До 2,8 МВт за 45 с: Rolls-Royce представила газовый генератор mtu 20V4000 L64 для дата-центров 55 мин.
UKPN начнёт отапливать дома британских малоимущих кластерами из сотен Raspberry Pi 2 ч.
В лучших ИИ-ускорителях Huawei нашли чипы TSMC, Samsung и SK hynix, которых в Китае быть не должно 3 ч.
Задержки поставок ИИ-чипов в ОАЭ на десятки миллиардов долларов расстраивают NVIDIA 3 ч.
Видео: электромобиль Xiaomi SU7 сам включился и попытался сбежать от хозяев 4 ч.
В MIT на порядок улучшили батарею из бетона — фундамент сможет питать дом в течение суток и дольше 4 ч.
В России вскоре поступит в продажу защищённый смартфон Honor X9d с батареей на 8300 мА·ч 4 ч.
Почти 50 тыс. сетевых устройств Cisco имеют серьёзные уязвимости нулевого дня 5 ч.
Китайская CXMT освоила 18-нм DRAM с помощью украденных у Samsung секретов, утверждает следствие 5 ч.
Устройство Ampinel добавит видеокартам то, чего лишила их Nvidia — балансировку питания для защиты от расплавления 6 ч.