Cloudflare натравила ИИ на ботов, которые собирают данные для ИИ

Cloudflare развернула систему искусственного интеллекта, предназначенную для перехвата ботов, которые сканируют общедоступные страницы и собирают данные с целью обучения других моделей ИИ.

Владельцы сайтов теоретически могут попытаться отбиться от сканеров страниц при помощи файлов robots.txt с директивами для ботов, изменения настроек веб-серверов, проверок CAPTCHA и полной блокировки ботов. В действительности операторы роботов-сканеров зачастую игнорируют директивы robots.txt, обходят как тесты CAPTCHA, так и настройки серверов. В результате на ресурсах растёт объём нежелательного трафика, а данные сайтов попадают в массивы для обучения ИИ без разрешения правообладателей — однозначного ответа на вопрос о законности такой практики пока нет.

Cloudflare предложила не блокировать сканеры, а запускать их в систему, только показывать им созданный ИИ бесполезный контент, который они будут потреблять, попав в «ИИ-лабиринт». Обнаружив несанкционированное сканирование материалов, система не блокирует запрос, а выдаёт ряд ссылок на созданные ИИ страницы, достаточно убедительные, чтобы увести на них сканер. Такой контент выглядит как настоящий, но это уже не материалы, которые система пытается защитить — в результате сканер тратит время и ресурсы. Сами по себе генерируемые ИИ материалы реальны и связаны с научными фактами, потому что дезинформацию в Cloudflare плодить не намерены, а откровенно мусорный контент может навредить репутации сайта и поисковой оптимизации.

Система окажется сдерживающим фактором для сканеров веб-контента, чьи ресурсы начнут использоваться впустую, а стоимость эксплуатации вырастет. Она будет полезным инструментом для обнаружения активности ботов; человек же не станет погружаться в такой «ИИ-лабиринт» на глубину более четырёх ссылок, уверены создатели системы. Но панацеей это решение не является: такие вещи обычно порождают гонку вооружений, и в Cloudflare уже задумываются о том, что делать дальше, чтобы оставаться впереди.