Сегодня 06 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Сборщики данных для ИИ оказались виновниками массового замедления сайтов по всему интернету

Платформа Git-хостинга открытых проектов SourceHut заявила, что работа её сервисов замедлилась из-за веб-сканеров, которые запускают компании — разработчики систем искусственного интеллекта. Похожие жалобы всё чаще поступают и от владельцев других ресурсов.

 Источник изображения: Kai Wenzel / unsplash.com

Источник изображения: Kai Wenzel / unsplash.com

Чтобы ограничить трафик от ИИ-ботов, SourceHut пришлось развернуть Nepenthes — средство защиты от недобросовестно работающих веб-сканеров, собирающих данные для обучения моделей ИИ. Администрация платформы в одностороннем порядке целиком заблокировала диапазоны адресов нескольких облачных провайдеров, в том числе Google Cloud и Microsoft Azure, из-за чрезмерных объёмов трафика от развёрнутых в их сетях ботов. Владельцам добросовестно работающих сервисов на этих инфраструктурах рекомендовали связываться с администрацией SourceHut в индивидуальном порядке, чтобы добавлять их в исключения. В 2022 году SourceHut также пострадала из-за слишком частых обращений к её ресурсам от службы Google Go Module Mirror.

В 2023 году OpenAI заверила, что её боты будут выполнять директивы из файлов robots.txt, указывающих правила обработки данных с сайтов веб-сканерами. Аналогичные обязательства взяли на себя и другие разработчики ИИ, но жалобы на злоупотребления продолжают поступать. Летом минувшего года сайт iFixit, в частности, подвергся нашествию со стороны бота Anthropic Claudebot. В декабре хостер Vercel сообщил о значительном присутствии ИИ-сканеров в его инфраструктуре: OpenAI GPTbot отправил в его сеть 569 млн запросов, Anthropic Claude — 370 млн. В совокупности они достигли около 20 % от 4,5 млрд запросов Googlebot, который используется для индексации ресурсов в Google.

 Источник изображения: Kai Wenzel / unsplash.com

Источник изображения: Kai Wenzel / unsplash.com

Тогда же разработчик распределённой соцсети Diaspora Деннис Шуберт (Dennis Schubert) пожаловался, что за предшествующие 60 дней на ИИ-ботов пришлись 70 % трафика на его сервер. Публикация обрела вирусную популярность, и активность ИИ-сканеров резко сократилась; однако сетевые хулиганы устроили на его ресурс массовое нашествие запросов от клиентов со значением строки user-agent, совпадающим с OpenAI GPTbot. Вот только настоящий ИИ-бот OpenAI отправляет запросы из инфраструктуры Microsoft Azure, а в случае с сервером Diaspora они исходили с адресов AWS и даже от американских интернет-провайдеров.

Иногда ситуация осложняется тем, что некоторые боты имеют несколько предназначений. Так, Meta AI bot и AppleBot собирают данные исключительно для обучения ИИ, тогда как GoogleBot служит и для ИИ, и для индексации в поиске. Чтобы избежать путаницы, Google в 2023 году добавила отдельное значение Google-Extended для инструментов обучения ИИ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
OpenAI раскрыла истинную причину подхалимского поведения ChatGPT 2 ч.
Разработчики подали новый иск против Apple — теперь за невыполнение решения суда 2 ч.
OpenAI всё-таки отказалась от преобразования в коммерческую компанию 2 ч.
Журналисты показали сражение с многоглазым козлом-шаманом из Elden Ring Nightreign — фанаты заинтригованы 8 ч.
«10 лет Гвинта»: CD Projekt Red пригласила игроков на празднование юбилея The Witcher 3: Wild Hunt 9 ч.
Календарь релизов — 5–11 мая: «Приключения капитана Блада», Hordes of Hunger и The Midnight Walk 10 ч.
Антимонопольный иск против Google может привести к исчезновению Firefox 10 ч.
Рынок DLP-систем взлетел на 40 % после принятия закона о штрафах за утечки персональных данных 11 ч.
Microsoft анонсировала Gears of War: Reloaded, в том числе для PS5 — дата выхода, технические улучшения и бесплатный апгрейд с подвохом 11 ч.
Apple оспорила решение суда, ограничившее её контроль над приложениями для iPhone 11 ч.
До конца следующего года Waymo удвоит количество роботакси и наладит производство минивэнов Zeekr RT 35 мин.
Новая статья: ИИтоги апреля 2025 г.: шутки в сторону 7 ч.
ЦОД Испании и Португалии успешно пережили крупнейший «блэкаут» в истории стран, а вот телеком-инфраструктура испытала серьёзные проблемы 7 ч.
AOC выпустила 27-дюймовый игровой IPS-монитор Q27G4K с 1440p и 400 Гц 8 ч.
Индонезия намерена построить АЭС на 10 ГВт в рамках масштабного энергетического экопроекта 9 ч.
Google и Broadcom совместно обеспечат кибербезопасность своих решений 11 ч.
США готовят закон об отслеживании ИИ-чипов после продажи, чтобы пресечь их контрабанду в Китай 11 ч.
1 Пбит/с через Атлантику: Meta намерена построить самый быстрый подводный кабель 12 ч.
Unitree представила робопса-пожарного с брандспойтом на месте головы 15 ч.
Профессиональная видеокарта Nvidia RTX Pro 6000 Blackwell Workstation Edition с 96 Гбайт GDDR7 поступила в продажу за €9000 15 ч.