Сегодня 30 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Cloudflare запустила инструмент для борьбы с ботами, собирающими данные для ИИ

Компания Cloudflare запустила новый бесплатный инструмент для защиты веб-сайтов от ботов, которые извлекают данные для обучения моделей искусственного интеллекта без согласия владельцев сайтов.

 Источник изображения: Cloudflare

Источник изображения: Cloudflare

Cloudflare, поставщик облачных услуг по предоставлению DNS и защиты от DDoS-атак, представила новое решение для борьбы с ботами искусственного интеллекта, которые несанкционированно занимаются сбором данных с веб-сайтов. Новый бесплатный инструмент защитит сайты, размещённые на платформе Cloudflare, от извлечения их контента для обучения ИИ-моделей.

Хотя некоторые крупные игроки в сфере ИИ, такие как Google, OpenAI и Apple, позволяют владельцам сайтов блокировать ботов через специальный файл robots.txt, далеко не все владельцы подобных ботов соблюдают эти правила. Cloudflare отмечает, что некоторые компании ИИ намеренно обходят ограничения доступа к контенту, постоянно адаптируясь и меняя свои алгоритмы, чтобы избежать обнаружения.

Чтобы решить эту проблему, Cloudflare проанализировала трафик краулеров и разработала автоматические модели их обнаружения, которые учитывают различные факторы, в том числе включая попытки ботов имитировать действия человека, использующего веб-браузер. Также создана специальная форма, позволяющая сообщать о подозрительных ботах и сканерах. На основе полученных данных Cloudflare будет вручную заносить ботов ИИ в черный список.

Проблема сбора данных ботами ИИ стала особенно актуальной на фоне бума генеративного ИИ. Многие сайты опасаются, что поставщики ИИ будут использовать их контент без разрешения и какой-либо компенсации. Согласно исследованию, около 26 % из 100 крупнейших новостных сайтов заблокировали бота OpenAI и 242 сайта из 1000 наиболее популярных также в настоящее время блокируют GPTBot. Другое исследование показало, что уже более 600 крупных новостных издателей заблокировали различных ботов.

Так как многие ИИ-боты игнорируют правила, прописанные в robots.txt, то приходится искать новые методы решения вопроса. Инструменты, подобные разработке Cloudflare, могут помочь в борьбе с несанкционированным сбором данных. Но насколько это окажется эффективным покажет время.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Редактор видео Adobe Premier стал доступен на iOS — бесплатно 9 мин.
Грандиозный мод Fallout: London для Fallout 4 получил большое бесплатное дополнение с 30 новыми квестами и блэкджеком 31 мин.
«Недостающая подушка безопасности»: в «Google Диск» встроили ИИ-защиту от программ-вымогателей 36 мин.
OpenAI представила Sora 2 — ИИ-генератор видео с реалистичной физикой и логикой, а также возможностью встроить в ролик самого себя 38 мин.
Вторая глава, повышение максимального уровня, отключаемый интерфейс и многое другое: для Titan Quest 2 вышло первое крупное обновление 2 ч.
Соавтор Disco Elysium устроит из анонса новой игры событие мирового масштаба — Summer Eternal готовит необычную презентацию Red Rooster 3 ч.
Российский суд оштрафовал Microsoft и Telegram на 3,5 млн рублей каждую, а Apple — на 7 млн 4 ч.
Основатель и глава Spotify внезапно объявил об уходе в отставку 5 ч.
Команды разработчиков Windows воссоединились после шестилетней работы порознь 5 ч.
Nvidia выпустила драйвер с поддержкой Battlefield 6 и обновления FBC: Firebreak 5 ч.