Сегодня 16 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Сборщики данных для ИИ оказались виновниками массового замедления сайтов по всему интернету

Платформа Git-хостинга открытых проектов SourceHut заявила, что работа её сервисов замедлилась из-за веб-сканеров, которые запускают компании — разработчики систем искусственного интеллекта. Похожие жалобы всё чаще поступают и от владельцев других ресурсов.

 Источник изображения: Kai Wenzel / unsplash.com

Источник изображения: Kai Wenzel / unsplash.com

Чтобы ограничить трафик от ИИ-ботов, SourceHut пришлось развернуть Nepenthes — средство защиты от недобросовестно работающих веб-сканеров, собирающих данные для обучения моделей ИИ. Администрация платформы в одностороннем порядке целиком заблокировала диапазоны адресов нескольких облачных провайдеров, в том числе Google Cloud и Microsoft Azure, из-за чрезмерных объёмов трафика от развёрнутых в их сетях ботов. Владельцам добросовестно работающих сервисов на этих инфраструктурах рекомендовали связываться с администрацией SourceHut в индивидуальном порядке, чтобы добавлять их в исключения. В 2022 году SourceHut также пострадала из-за слишком частых обращений к её ресурсам от службы Google Go Module Mirror.

В 2023 году OpenAI заверила, что её боты будут выполнять директивы из файлов robots.txt, указывающих правила обработки данных с сайтов веб-сканерами. Аналогичные обязательства взяли на себя и другие разработчики ИИ, но жалобы на злоупотребления продолжают поступать. Летом минувшего года сайт iFixit, в частности, подвергся нашествию со стороны бота Anthropic Claudebot. В декабре хостер Vercel сообщил о значительном присутствии ИИ-сканеров в его инфраструктуре: OpenAI GPTbot отправил в его сеть 569 млн запросов, Anthropic Claude — 370 млн. В совокупности они достигли около 20 % от 4,5 млрд запросов Googlebot, который используется для индексации ресурсов в Google.

 Источник изображения: Kai Wenzel / unsplash.com

Источник изображения: Kai Wenzel / unsplash.com

Тогда же разработчик распределённой соцсети Diaspora Деннис Шуберт (Dennis Schubert) пожаловался, что за предшествующие 60 дней на ИИ-ботов пришлись 70 % трафика на его сервер. Публикация обрела вирусную популярность, и активность ИИ-сканеров резко сократилась; однако сетевые хулиганы устроили на его ресурс массовое нашествие запросов от клиентов со значением строки user-agent, совпадающим с OpenAI GPTbot. Вот только настоящий ИИ-бот OpenAI отправляет запросы из инфраструктуры Microsoft Azure, а в случае с сервером Diaspora они исходили с адресов AWS и даже от американских интернет-провайдеров.

Иногда ситуация осложняется тем, что некоторые боты имеют несколько предназначений. Так, Meta AI bot и AppleBot собирают данные исключительно для обучения ИИ, тогда как GoogleBot служит и для ИИ, и для индексации в поиске. Чтобы избежать путаницы, Google в 2023 году добавила отдельное значение Google-Extended для инструментов обучения ИИ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Вышла Apple macOS Tahoe 26 — она получила интерфейс Liquid Glass, новые средства автоматизации и многое другое 21 мин.
Планы Sony на сентябрьский выпуск State of Play подтвердил ещё один инсайдер — шоу пройдёт совсем скоро 2 ч.
Спустя полтора года в раннем доступе нашумевший симулятор «покемонов с пушками» Palworld взял курс на полноценный релиз 3 ч.
В корпоративном пакете Microsoft 365 заработал бесплатный Copilot Chat 3 ч.
США и Китай договорились об условиях сделки с TikTok, их утвердят в пятницу лидеры этих стран 7 ч.
OpenAI представила GPT-5-Codex — версию GPT-5 с динамическим мышлением для агентного программирования 11 ч.
Apple выпустила watchOS 26: дизайн Liquid Glass, новые функции Apple Intelligence и мониторинг гипертонии 12 ч.
Календарь релизов 15–21 сентября: Dying Light: The Beast, Lego Voyagers, Ratatan, Jump Space 12 ч.
Apple выпустила iPadOS 26 со множеством изменений и дизайном Liquid Glass 12 ч.
Российский ужастик про незваных гостей No, I’m not a Human стартовал в Steam с 96 % положительных отзывов 13 ч.
ИТ-холдинг Fplus оказался на грани банкротства — претензии почти на 1 млрд руб. есть уже у трёх банков 22 мин.
OpenAI планирует заняться гуманоидными роботами и собирает команду специалистов в робототехнике 52 мин.
В числе первых чипов, которые выпустит TSMC по 2-нм техпроцессу, окажется следующий Mediatek Dimensity 2 ч.
Спутниковый интернет Amazon к концу первого квартала 2026 года будет доступен в пяти странах мира 3 ч.
NVIDIA обязалась выкупить у CoreWeave все нераспроданные ИИ-мощности за $6,3 млрд 3 ч.
Умные очки Meta Ray-Ban Display с дисплеем показались на видео до презентации 4 ч.
Завершение сделки по отделению Altera позволило Intel снизить план по операционным расходам на 2025 год на $200 млн 4 ч.
С апрельских минимумов акции Tesla выросли в цене на 85 % 4 ч.
Nvidia намерена оказаться в числе первых клиентов TSMC на ангстремный техпроцесс A16 5 ч.
Спрос на iPhone 17 оказался выше, чем ожидалось — Pro Max стал лидером 8 ч.