Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Cloudflare обновила robots.txt: теперь сайты могут запретить ИИ-чат-ботам воровать контент

Cloudflare объявила о поддержке новых директив для файла robots.txt, учитывающих, что сайты теперь посещают роботы не только поисковых систем, но и чат-ботов с искусственным интеллектом.

 Источник изображения: cloudflare.com

Источник изображения: cloudflare.com

Файл robots.txt можно найти почти на каждом веб-сайте. В нём содержатся директивы по поводу того, какие страницы поисковые системы и боты могут посещать, а какие — не могут. Требования этого файла технически не являются обязательными к выполнению, но на заре интернета, когда службы вроде Google их соблюдали, проблем не возникало. Всё изменило появление ИИ: чат-боты не индексируют сайты в традиционном смысле, а копируют их содержимое для обучения или генерации ответов.

Системы многих занимающихся ИИ компаний попросту игнорируют robots.txt или маскируются под поисковые роботы, чтобы обходить ограничения. Cloudflare занимается защитой около 20 % ресурсов интернета, и у компании есть возможность отслеживать эти процессы в больших масштабах. Поэтому она представила «Политику сигналов о контенте» (Content Signals Policy) — это новый способ для владельцев сайтов установить, разрешают ли он ИИ работать со своими материалами.

Основу новой политики составляют новые инструкции robots.txt. Доступны три варианта:

  • search — использование материалов для создания поискового индекса и вывода ссылок или фрагментов текста в результатах поиска;
  • ai-input — использование контента непосредственно в ответах ИИ, в том числе когда чат-бот извлекает информацию со страницы сайта для генерации ответа;
  • ai-train — использование контента для обучения и тонкой настройки моделей ИИ.
 Источник изображения: Steve Johnson / unsplash.com

Источник изображения: Steve Johnson / unsplash.com

Каждая из этих инструкций может принимать значения «yes» (да) или «no» (нет). То есть владелец сайта может разрешить показывать его контент в результатах поиска, но запретить обучение ИИ на этих материалах. Cloudflare уже развернула эту функцию для более чем 3,8 млн доменов. По умолчанию для поиска установлено положительное значение, для использования материалов в ответах ИИ — отрицательное, а для обучения — никакого, чтобы владелец сайта принимал это решение сам.

Cloudflare фиксирует установки этих директив как юридически значимые, то есть их можно будет использовать в судебных разбирательствах с разработчиками ИИ. Если большинство разработчиков ИИ начнёт соблюдать эти директивы, в интернете де-факто установится новый стандарт — в противном случае грозит возникнуть конфликт с блокировками и мерами юридического характера. Проблемным игроком может оказаться Google, чей Googlebot используется и для индексирования сайтов, и для функций ИИ, поэтому у владельцев сайтов нет возможности отказаться от поддерживаемых технологическим гигантом решений, не потеряв позиций в поисковой выдаче.

Пока же регулирование сегмента ИИ остаётся чрезвычайно отрывочным. Генератор видео OpenAI Sora 2, как оказалось, способен полностью воссоздавать миссии из игры Cyberpunk 2077, хотя едва ли компании давали разрешение на использование этого контента. То же касается таких персонажей как Марио и Пикачу, хотя Nintendo нечасто вступает в конфликты с крупными игроками.

Cloudflare же теперь тестирует функцию «платы за сканирование» — владельцы сайтов смогут брать деньги за доступ ботов к ресурсам. При попытке бесплатного доступа система выведет ошибку 402 — «Требуется оплата» (Payment Required).

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Мощнейшая за 20 лет магнитная буря перекроила радиационные пояса Земли — их стало четыре вместо двух 21 мин.
ИИ-бум может захлебнуться в избытке чипов — Сэм Альтман предупредил, что OpenAI не сможет скупить всё 3 ч.
Sizable Energy намерена запитать ЦОД от морских гидроаккумуляторных энергохранилищ 4 ч.
OCTOPUS с Xeon 6 и квантовыми процессорами: Университет Осаки запустил академическую платформу SEAFOOD 4 ч.
Phison представила космические SSD Pascari Space 12 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 13 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 13 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 14 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 14 ч.
Инженеры угрожают новому руководству Nvidia увольнениями, если Хуанг не вернётся на пост гендира 15 ч.