Компания Cloudflare представила новый инструмент AI Audit, который позволит владельцам сайтов отслеживать использование их контента ИИ-ботами и либо блокировать им доступ к своей инфоромации, либо устанавливать цену за его использование.

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

От Ryzen 7 1800X до Ryzen 7 9850X3D: девять лет эволюции AMD в одном тесте

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Гид по выбору OLED-монитора в 2026 году: эволюция в деталях

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Источник изображения: Copilot

Cloudflare ранее представила инструмент, который просто предотвращал сбор текстов и изображений для обучения ИИ — скрейпинг. Теперь, как сообщает издание SiliconANGLE, компания анонсировала расширение его функций, выпустив AI Audit — инструмент, предоставляющий набор возможностей, помогающих проанализировать действия ИИ-ботов и монетизировать контент.

Скрейпинг текстов и изображений стал обычной практикой в индустрии ИИ, так как интернет предоставляет огромное количество контента, который может использоваться для обучения моделей. Однако это вызывает споры, так как многие издатели считают, что такие действия несправедливы, особенно когда они не осведомлены о том, что их материалы (по сути нелегально) используются. При этом, ведущие компании, занимающиеся разработкой ИИ, такие как OpenAI, Google, Meta✴✴, Stability AI, IBM и Microsoft открыто признают, что используют контент издателей, ссылаясь на доктрину «добросовестного использования».

Однако критики утверждают, что скрейпинг негативно повлияет на издателей, поскольку приведёт к потере трафика и потенциальной прибыли. Например, сайт с кулинарными рецептами может потерять значительную часть аудитории из-за чат-ботов, которые используют его контент для ответов на запросы пользователей. Если пользователь получит информацию у искусственного интеллекта, то у него навряд ли появится стимул посещать сам сайт, даже если он указан в качестве источника.

Некоторые издатели уже начали блокировать доступ ИИ к своим ресурсам. Например, в прошлом месяце The New York Times и CNN официально заблокировали GPTBot от компании OpenAI. В то же время другие сайты, например Reddit, предлагают доступ к своему контенту за плату через специальные API, которые позволяют ИИ-компаниям оплачивать использование данных.

Cloudflare стремится дать возможность всем владельцам сайтов контролировать использование своего контента. AI Audit, включающий функцию блокировки доступа любых ИИ-ботов и аналитику, как раз и призван обеспечить прозрачность взаимодействия между создателями контента и ИИ-разработчиками. Инструмент поможет определить, когда, как часто и зачем ИИ-модели обращаются к страницам сайта, а также фиксировать ботов, которые указывают источник данных, и тех, которые этого не делают.

Кроме того, AI Audit поможет владельцам сайтов определить справедливую цену за доступ к контенту, основываясь на рыночных ставках, установленных крупными издателями, такими как Reddit. По словам представителей Cloudflare, это необходимо, поскольку у многих небольших сайтов нет ресурсов и опыта для оценки стоимости своего контента и ведения переговоров с ИИ-компаниями. При этом сами компании также не имеют возможности заключать отдельные соглашения с каждым из миллионов сайтов.

«Если создатели контента не будут иметь такого контроля, качество онлайн-информации ухудшится или она станет доступна только по платной подписке, — считает соучредитель и генеральный директор Cloudflare Мэтью Принс (Matthew Prince). — Благодаря масштабу и глобальной инфраструктуре Cloudflare мы можем предоставить инструменты и установить стандарты, которые дадут веб-сайтам, издателям и создателям контента контроль и справедливую компенсацию за их вклад в интернет, при этом позволяя поставщикам ИИ-моделей продолжать внедрять инновации».

Пользователи по всему миру столкнулись с ошибками подключения к сайтам, работающим через сервис услуг CDN и защиты от DDoS-атак Cloudflare. При этом проблемы с доступом варьируются в зависимости от региона. Сервис анализа сбоев Downdetector также зафиксировал рост жалоб на сбои у Cloudflare.

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

От Ryzen 7 1800X до Ryzen 7 9850X3D: девять лет эволюции AMD в одном тесте

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Гид по выбору OLED-монитора в 2026 году: эволюция в деталях

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Источник изображения: Copilot

Cloudflare утверждает, что в настоящее время проводит плановое техническое обслуживание в Сингапуре и Нэшвилле (США), однако на странице статуса сервисов компании информация о каких-либо проблемах отсутствует. Тем не менее, многие пользователи по всему миру сообщают о проблемах с доступом к сайтам, которые используют Cloudflare. При попытке открыть такие сайты браузеры выдают сообщения об ошибке, свидетельствующие о проблемах с подключением к серверу.

О проблемах написал ресурс BleepingComputer, сайт которого также стал жертвой этого сбоя. «Наши пользователи испытывают проблемы с периодическим доступом к площадке. Однако инструменты мониторинга показывают, что мы по-прежнему принимаем трафик, что указывает на региональный характер сбоя», — говорится в сообщении. На момент публикации новости пользователи из США могут зайти на сайт, однако сотрудники ресурса, проживающие в других странах не могут получить к нему доступ.

Сервис Downdetector также зафиксировал рост числа жалоб на Cloudflare около 20:45 по московскому времени, что совпадает с моментом, когда BleepingComputer начал испытывать проблемы. Аналогичные сообщения поступают и из социальной сети X. Пользователи сообщают, что их сайты недоступны по протоколу IPv4, однако доступны через IPv6.

Сбой Cloudflare также затронул ресурс NodeJS. Организация сообщила, что проблема влияет на «возможность доступа к nodejs.org, включая доступ к загрузке пакетов Node.js». BleepingComputer обратился в Cloudflare за комментариями, но компания пока ответ не дала.

Компания Cloudflare запустила новый бесплатный инструмент для защиты веб-сайтов от ботов, которые извлекают данные для обучения моделей искусственного интеллекта без согласия владельцев сайтов.

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

От Ryzen 7 1800X до Ryzen 7 9850X3D: девять лет эволюции AMD в одном тесте

Гид по выбору OLED-монитора в 2026 году: эволюция в деталях

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Источник изображения: Cloudflare

Cloudflare, поставщик облачных услуг по предоставлению DNS и защиты от DDoS-атак, представила новое решение для борьбы с ботами искусственного интеллекта, которые несанкционированно занимаются сбором данных с веб-сайтов. Новый бесплатный инструмент защитит сайты, размещённые на платформе Cloudflare, от извлечения их контента для обучения ИИ-моделей.

Хотя некоторые крупные игроки в сфере ИИ, такие как Google, OpenAI и Apple, позволяют владельцам сайтов блокировать ботов через специальный файл robots.txt, далеко не все владельцы подобных ботов соблюдают эти правила. Cloudflare отмечает, что некоторые компании ИИ намеренно обходят ограничения доступа к контенту, постоянно адаптируясь и меняя свои алгоритмы, чтобы избежать обнаружения.

Чтобы решить эту проблему, Cloudflare проанализировала трафик краулеров и разработала автоматические модели их обнаружения, которые учитывают различные факторы, в том числе включая попытки ботов имитировать действия человека, использующего веб-браузер. Также создана специальная форма, позволяющая сообщать о подозрительных ботах и сканерах. На основе полученных данных Cloudflare будет вручную заносить ботов ИИ в черный список.

Проблема сбора данных ботами ИИ стала особенно актуальной на фоне бума генеративного ИИ. Многие сайты опасаются, что поставщики ИИ будут использовать их контент без разрешения и какой-либо компенсации. Согласно исследованию, около 26 % из 100 крупнейших новостных сайтов заблокировали бота OpenAI и 242 сайта из 1000 наиболее популярных также в настоящее время блокируют GPTBot. Другое исследование показало, что уже более 600 крупных новостных издателей заблокировали различных ботов.

Так как многие ИИ-боты игнорируют правила, прописанные в robots.txt, то приходится искать новые методы решения вопроса. Инструменты, подобные разработке Cloudflare, могут помочь в борьбе с несанкционированным сбором данных. Но насколько это окажется эффективным покажет время.