Cloudflare обновила robots.txt: теперь сайты могут запретить ИИ-чат-ботам воровать контент

Cloudflare объявила о поддержке новых директив для файла robots.txt, учитывающих, что сайты теперь посещают роботы не только поисковых систем, но и чат-ботов с искусственным интеллектом.

Файл robots.txt можно найти почти на каждом веб-сайте. В нём содержатся директивы по поводу того, какие страницы поисковые системы и боты могут посещать, а какие — не могут. Требования этого файла технически не являются обязательными к выполнению, но на заре интернета, когда службы вроде Google их соблюдали, проблем не возникало. Всё изменило появление ИИ: чат-боты не индексируют сайты в традиционном смысле, а копируют их содержимое для обучения или генерации ответов.

Системы многих занимающихся ИИ компаний попросту игнорируют robots.txt или маскируются под поисковые роботы, чтобы обходить ограничения. Cloudflare занимается защитой около 20 % ресурсов интернета, и у компании есть возможность отслеживать эти процессы в больших масштабах. Поэтому она представила «Политику сигналов о контенте» (Content Signals Policy) — это новый способ для владельцев сайтов установить, разрешают ли он ИИ работать со своими материалами.

Основу новой политики составляют новые инструкции robots.txt. Доступны три варианта:

• search — использование материалов для создания поискового индекса и вывода ссылок или фрагментов текста в результатах поиска;
• ai-input — использование контента непосредственно в ответах ИИ, в том числе когда чат-бот извлекает информацию со страницы сайта для генерации ответа;
• ai-train — использование контента для обучения и тонкой настройки моделей ИИ.

Каждая из этих инструкций может принимать значения «yes» (да) или «no» (нет). То есть владелец сайта может разрешить показывать его контент в результатах поиска, но запретить обучение ИИ на этих материалах. Cloudflare уже развернула эту функцию для более чем 3,8 млн доменов. По умолчанию для поиска установлено положительное значение, для использования материалов в ответах ИИ — отрицательное, а для обучения — никакого, чтобы владелец сайта принимал это решение сам.

Cloudflare фиксирует установки этих директив как юридически значимые, то есть их можно будет использовать в судебных разбирательствах с разработчиками ИИ. Если большинство разработчиков ИИ начнёт соблюдать эти директивы, в интернете де-факто установится новый стандарт — в противном случае грозит возникнуть конфликт с блокировками и мерами юридического характера. Проблемным игроком может оказаться Google, чей Googlebot используется и для индексирования сайтов, и для функций ИИ, поэтому у владельцев сайтов нет возможности отказаться от поддерживаемых технологическим гигантом решений, не потеряв позиций в поисковой выдаче.

Пока же регулирование сегмента ИИ остаётся чрезвычайно отрывочным. Генератор видео OpenAI Sora 2, как оказалось, способен полностью воссоздавать миссии из игры Cyberpunk 2077, хотя едва ли компании давали разрешение на использование этого контента. То же касается таких персонажей как Марио и Пикачу, хотя Nintendo нечасто вступает в конфликты с крупными игроками.

Cloudflare же теперь тестирует функцию «платы за сканирование» — владельцы сайтов смогут брать деньги за доступ ботов к ресурсам. При попытке бесплатного доступа система выведет ошибку 402 — «Требуется оплата» (Payment Required).