Компания Cloudflare запустила новый бесплатный инструмент для защиты веб-сайтов от ботов, которые извлекают данные для обучения моделей искусственного интеллекта без согласия владельцев сайтов.

Источник изображения: Cloudflare

Cloudflare, поставщик облачных услуг по предоставлению DNS и защиты от DDoS-атак, представила новое решение для борьбы с ботами искусственного интеллекта, которые несанкционированно занимаются сбором данных с веб-сайтов. Новый бесплатный инструмент защитит сайты, размещённые на платформе Cloudflare, от извлечения их контента для обучения ИИ-моделей.

Хотя некоторые крупные игроки в сфере ИИ, такие как Google, OpenAI и Apple, позволяют владельцам сайтов блокировать ботов через специальный файл robots.txt, далеко не все владельцы подобных ботов соблюдают эти правила. Cloudflare отмечает, что некоторые компании ИИ намеренно обходят ограничения доступа к контенту, постоянно адаптируясь и меняя свои алгоритмы, чтобы избежать обнаружения.

Чтобы решить эту проблему, Cloudflare проанализировала трафик краулеров и разработала автоматические модели их обнаружения, которые учитывают различные факторы, в том числе включая попытки ботов имитировать действия человека, использующего веб-браузер. Также создана специальная форма, позволяющая сообщать о подозрительных ботах и сканерах. На основе полученных данных Cloudflare будет вручную заносить ботов ИИ в черный список.

Проблема сбора данных ботами ИИ стала особенно актуальной на фоне бума генеративного ИИ. Многие сайты опасаются, что поставщики ИИ будут использовать их контент без разрешения и какой-либо компенсации. Согласно исследованию, около 26 % из 100 крупнейших новостных сайтов заблокировали бота OpenAI и 242 сайта из 1000 наиболее популярных также в настоящее время блокируют GPTBot. Другое исследование показало, что уже более 600 крупных новостных издателей заблокировали различных ботов.

Так как многие ИИ-боты игнорируют правила, прописанные в robots.txt, то приходится искать новые методы решения вопроса. Инструменты, подобные разработке Cloudflare, могут помочь в борьбе с несанкционированным сбором данных. Но насколько это окажется эффективным покажет время.

Cloudflare разрабатывает собственный межсетевой экран для генеративных ИИ-моделей с целью защитить их от потенциальных кибератак или других вредоносных угроз. Кроме поддержки современных стандартов сетевой безопасности, брандмауэр с помощью нейросети будет анализировать запросы, отправленные пользователями генеративного ИИ, чтобы попытаться заранее обнаружить потенциальные эксплойты.

Источник изображения: blog.cloudflare.com

«Некоторые уязвимости, затрагивающие традиционные веб-приложения и API-приложения, применимы и к миру LLM (больших языковых моделей), включая инъекции или кражу данных, — сообщил менеджер по продукту Cloudflare Group Даниэле Молтени (Daniele Molteni). — Однако существует новый набор угроз, которые теперь актуальны из-за того, как работают программы LLM».

Вводимые пользователем данные на сайтах и в инструментах ИИ сначала подвергнутся фильтрации через Cloudflare и лишь затем достигнут самого генеративного ИИ. Брандмауэр также сможет прерывать генеративные запросы ИИ и сканировать их на наличие потенциальных угроз. Данные, отправленные в общедоступные модели ИИ, такие как ChatGPT или Claude, могут быть доступны практически любому, поэтому брандмауэр Cloudflare будет очищать запросы пользователей от потенциально конфиденциальной информации.

Брандмауэр Cloudflare с ИИ может также подвергать цензуре вводимые пользователем данные другими способами. Брандмауэр разрабатывается для предотвращения «манипулирования» моделями ИИ с помощью входных данных, которые могут привести к галлюцинациям модели и другим ложным или опасным реакциям.

Согласно сообщению Cloudflare, клиенты также смогут «блокировать запросы, которые попадают в неуместные категории», если у них есть опасения, что такие запросы могут привести к тому, что ИИ будет использовать «токсичную, оскорбительную или проблемную лексику». Хотя компания называет такие случаи примерами «атак быстрого внедрения», неясно, в какой степени будут подвергаться цензуре подлинные запросы пользователей.

На этой неделе Cloudflare также представила сервис «Защитный искусственный интеллект» для бизнеса, который использует нейросеть для анализа веб-сайтов на предмет потенциальных угроз, основанных на искусственном интеллекте.

Объём мирового интернет-трафика вырос в этом году на 25 %, Google стала крупнейшим в мире поставщиком услуг общего назначения, а OpenAI оказалась крупнейшим поставщиком услуг генеративного искусственного интеллекта. Такие итоги года подвела компания Cloudflare.

Источник изображений: blog.cloudflare.com

Благодаря спутниковому провайдеру SpaceX Starlink быстрый интернет появился в регионах, которые ранее вообще не обслуживались, а трафик самого оператора по сравнению с прошлым годом утроился. Наиболее заметной эта тенденция оказалась в странах, которые только начали обслуживаться Starlink, например, в Бразилии трафик за год вырос в 17 раз. Самый качественный интернет оказался в Исландии, где есть разветвлённая оптоволоконная сеть.

Продолжая разговор о качестве связи, в Cloudflare выступили за внедрение новейшего протокола HTTP/3 или QUIC — этот протокол обслуживает уже пятую часть общего трафика, а наиболее распространён он в Непале, Малайзии, Таиланде и Шри-Ланке, где меньше устаревшего оборудования, работающего на старых протоколах. То же действительно для IPv6, который существует уже не первое десятилетие, но пока не используется повсеместно, зато широко применяется в Индии и Малайзии.

Распределение мобильного трафика по ОС в странах

Две трети мобильного трафика генерируют устройства под управлением Android; более чем в двух десятках регионов доля Android составляет более 90 % от всего мобильного трафика. Самые высокие показатели зафиксированы в Бангладеш и Папуа — Новой Гвинее, и в основном за счёт недорогих устройств. Их противоположностью являются Дания, Австралия и Япония, где до 70 % мобильного трафика приходятся на Apple iPhone.

В отчёте говорится о 180 инцидентах, связанных с масштабными отключениями интернета, многие из которых были санкционированы правительствами, например, в Мавритании и Габоне. Власти Ирака отключали интернет на несколько часов, чтобы не допустить списывания на экзаменах. Иногда отключения были вызваны природными катастрофами, например, тайфуном на Гуаме в мае.

Происхождение трафика ботов по странам

Глядя в перспективу Cloudflare отмечает, что почти 2 % всего трафика TLS 1.3 использует технологии постквантового шифрования — этот показатель будет интенсивно расти в будущем году по мере обновления Chrome и других браузеров. Компания также отметила, что киберпреступники начали менять стратегию: снижается процент писем с фишинговыми ссылками, но растёт доля вымогательств. Почти 12 % трафика вредоносных ботов происходит из инфраструктуры Amazon Web Services и 7 % — из Google. Почти треть от совокупного трафика ботов происходит из США.

По сообщениям сетевых источников, принадлежащая Илону Маску (Elon Musk) компания SpaceX сотрудничает с CDN-провайдером Cloudflare, чтобы повысить производительность своего спутникового интернет-сервиса Starlink. Об этом пишет издание The Information со ссылкой на собственный осведомлённый источник, принимающий непосредственное участие в данном проекте.

Источник изображения: starlink.com

В сообщении сказано, что компании работают над расширением сети мини-центров обработки данных Starlink по всему миру. За счёт этого SpaceX сумеет обеспечить более высокую пропускную способность для своих клиентов, являющихся пользователями сети Starlink. На фоне этой новости стоимость акций Cloudflare подскочила на 7,2 %.

Что касается сети Starlink, то в ней используются телекоммуникационный спутники, доставкой которых на орбиту активно занимается SpaceX. Помимо компании Илона Маска над созданием спутниковой сети для предоставления широкополосного доступа в интернет работают американская компания Amazon и британская OneWeb. Официальные представители SpaceX и Cloudflare пока воздерживаются от комментариев по вопросам, связанным с сотрудничеством компаний.