Сегодня 06 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Cloudflare запустила инструмент для борьбы с ботами, собирающими данные для ИИ

Компания Cloudflare запустила новый бесплатный инструмент для защиты веб-сайтов от ботов, которые извлекают данные для обучения моделей искусственного интеллекта без согласия владельцев сайтов.

 Источник изображения: Cloudflare

Источник изображения: Cloudflare

Cloudflare, поставщик облачных услуг по предоставлению DNS и защиты от DDoS-атак, представила новое решение для борьбы с ботами искусственного интеллекта, которые несанкционированно занимаются сбором данных с веб-сайтов. Новый бесплатный инструмент защитит сайты, размещённые на платформе Cloudflare, от извлечения их контента для обучения ИИ-моделей.

Хотя некоторые крупные игроки в сфере ИИ, такие как Google, OpenAI и Apple, позволяют владельцам сайтов блокировать ботов через специальный файл robots.txt, далеко не все владельцы подобных ботов соблюдают эти правила. Cloudflare отмечает, что некоторые компании ИИ намеренно обходят ограничения доступа к контенту, постоянно адаптируясь и меняя свои алгоритмы, чтобы избежать обнаружения.

Чтобы решить эту проблему, Cloudflare проанализировала трафик краулеров и разработала автоматические модели их обнаружения, которые учитывают различные факторы, в том числе включая попытки ботов имитировать действия человека, использующего веб-браузер. Также создана специальная форма, позволяющая сообщать о подозрительных ботах и сканерах. На основе полученных данных Cloudflare будет вручную заносить ботов ИИ в черный список.

Проблема сбора данных ботами ИИ стала особенно актуальной на фоне бума генеративного ИИ. Многие сайты опасаются, что поставщики ИИ будут использовать их контент без разрешения и какой-либо компенсации. Согласно исследованию, около 26 % из 100 крупнейших новостных сайтов заблокировали бота OpenAI и 242 сайта из 1000 наиболее популярных также в настоящее время блокируют GPTBot. Другое исследование показало, что уже более 600 крупных новостных издателей заблокировали различных ботов.

Так как многие ИИ-боты игнорируют правила, прописанные в robots.txt, то приходится искать новые методы решения вопроса. Инструменты, подобные разработке Cloudflare, могут помочь в борьбе с несанкционированным сбором данных. Но насколько это окажется эффективным покажет время.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
OpenAI раскрыла истинную причину подхалимского поведения ChatGPT 56 мин.
Разработчики подали новый иск против Apple — теперь за невыполнение решения суда 60 мин.
OpenAI всё-таки отказалась от преобразования в коммерческую компанию 2 ч.
Журналисты показали сражение с многоглазым козлом-шаманом из Elden Ring Nightreign — фанаты заинтригованы 7 ч.
«10 лет Гвинта»: CD Projekt Red пригласила игроков на празднование юбилея The Witcher 3: Wild Hunt 9 ч.
Календарь релизов — 5–11 мая: «Приключения капитана Блада», Hordes of Hunger и The Midnight Walk 9 ч.
Антимонопольный иск против Google может привести к исчезновению Firefox 10 ч.
Рынок DLP-систем взлетел на 40 % после принятия закона о штрафах за утечки персональных данных 10 ч.
Microsoft анонсировала Gears of War: Reloaded, в том числе для PS5 — дата выхода, технические улучшения и бесплатный апгрейд с подвохом 10 ч.
Apple оспорила решение суда, ограничившее её контроль над приложениями для iPhone 11 ч.
До конца следующего года Waymo удвоит количество роботакси и наладит производство минивэнов Zeekr RT 11 мин.
Новая статья: ИИтоги апреля 2025 г.: шутки в сторону 7 ч.
ЦОД Испании и Португалии успешно пережили крупнейший «блэкаут» в истории стран, а вот телеком-инфраструктура испытала серьёзные проблемы 7 ч.
AOC выпустила 27-дюймовый игровой IPS-монитор Q27G4K с 1440p и 400 Гц 7 ч.
Ещё один повод избегать GeForce RTX 5060 Ti 8GB: карта «задыхается» без PCIe 5.0 8 ч.
Индонезия намерена построить АЭС на 10 ГВт в рамках масштабного энергетического экопроекта 8 ч.
Google и Broadcom совместно обеспечат кибербезопасность своих решений 11 ч.
США готовят закон об отслеживании ИИ-чипов после продажи, чтобы пресечь их контрабанду в Китай 11 ч.
1 Пбит/с через Атлантику: Meta намерена построить самый быстрый подводный кабель 11 ч.
Unitree представила робопса-пожарного с брандспойтом на месте головы 14 ч.