Сегодня 30 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Сборщики данных для ИИ оказались виновниками массового замедления сайтов по всему интернету

Платформа Git-хостинга открытых проектов SourceHut заявила, что работа её сервисов замедлилась из-за веб-сканеров, которые запускают компании — разработчики систем искусственного интеллекта. Похожие жалобы всё чаще поступают и от владельцев других ресурсов.

 Источник изображения: Kai Wenzel / unsplash.com

Источник изображения: Kai Wenzel / unsplash.com

Чтобы ограничить трафик от ИИ-ботов, SourceHut пришлось развернуть Nepenthes — средство защиты от недобросовестно работающих веб-сканеров, собирающих данные для обучения моделей ИИ. Администрация платформы в одностороннем порядке целиком заблокировала диапазоны адресов нескольких облачных провайдеров, в том числе Google Cloud и Microsoft Azure, из-за чрезмерных объёмов трафика от развёрнутых в их сетях ботов. Владельцам добросовестно работающих сервисов на этих инфраструктурах рекомендовали связываться с администрацией SourceHut в индивидуальном порядке, чтобы добавлять их в исключения. В 2022 году SourceHut также пострадала из-за слишком частых обращений к её ресурсам от службы Google Go Module Mirror.

В 2023 году OpenAI заверила, что её боты будут выполнять директивы из файлов robots.txt, указывающих правила обработки данных с сайтов веб-сканерами. Аналогичные обязательства взяли на себя и другие разработчики ИИ, но жалобы на злоупотребления продолжают поступать. Летом минувшего года сайт iFixit, в частности, подвергся нашествию со стороны бота Anthropic Claudebot. В декабре хостер Vercel сообщил о значительном присутствии ИИ-сканеров в его инфраструктуре: OpenAI GPTbot отправил в его сеть 569 млн запросов, Anthropic Claude — 370 млн. В совокупности они достигли около 20 % от 4,5 млрд запросов Googlebot, который используется для индексации ресурсов в Google.

 Источник изображения: Kai Wenzel / unsplash.com

Источник изображения: Kai Wenzel / unsplash.com

Тогда же разработчик распределённой соцсети Diaspora Деннис Шуберт (Dennis Schubert) пожаловался, что за предшествующие 60 дней на ИИ-ботов пришлись 70 % трафика на его сервер. Публикация обрела вирусную популярность, и активность ИИ-сканеров резко сократилась; однако сетевые хулиганы устроили на его ресурс массовое нашествие запросов от клиентов со значением строки user-agent, совпадающим с OpenAI GPTbot. Вот только настоящий ИИ-бот OpenAI отправляет запросы из инфраструктуры Microsoft Azure, а в случае с сервером Diaspora они исходили с адресов AWS и даже от американских интернет-провайдеров.

Иногда ситуация осложняется тем, что некоторые боты имеют несколько предназначений. Так, Meta AI bot и AppleBot собирают данные исключительно для обучения ИИ, тогда как GoogleBot служит и для ИИ, и для индексации в поиске. Чтобы избежать путаницы, Google в 2023 году добавила отдельное значение Google-Extended для инструментов обучения ИИ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Геймер собрал внутри Minecraft рабочий ChatGPT — на это ушло 439 млн блоков 4 ч.
В Steam стартовала грандиозная осенняя распродажа — скидку получили более 30 тысяч игр 5 ч.
Браузер Brave обновил фирменный ИИ-поиск: теперь он даёт развёрнутые ответы 6 ч.
Календарь релизов — 29 сентября – 5 октября: Ghost of Yotei, Train Sim World 6 и ремейк FF Tactics 7 ч.
Слухи: Embracer взялась за амбициозный боевик по «Властелину колец», который бросит вызов Hogwarts Legacy 8 ч.
В ChatGPT появился полный родительский контроль после трагической гибели подростка из США 9 ч.
Capcom оставит Monster Hunter Wilds, Rise и World на Windows 10 без поддержки, причём очень скоро 9 ч.
Electronic Arts уйдёт с биржи благодаря сделке на $55 миллиардов — компанию выкупят три инвестора, включая Суверенный фонд Саудовской Аравии 10 ч.
Обороты компьютерных клубов в России за пять лет выросли в десятки раз 12 ч.
Devolver анонсировала Minos — игру о строительстве непроходимых лабиринтов по мотивам древнегреческого мифа о Тесее и Минотавре 13 ч.
Новая статья: Обзор материнской платы Maxsun MS-eSport B850M WiFi Ice: «ледяная» скромность 2 ч.
Новая статья: Обзор блока питания Zalman TeraMax II SE 1000W (ZM1000-TMX2SE) 3 ч.
SanDisk выпустила WD_Black SN7100X — сертифицированный SSD для приставок ROG Xbox Ally и Ally X, а также карты памяти microSD 5 ч.
Куо предрёк Xiaomi 17 провал — поставки урезаны, а спасти положение могут только скидки 9 ч.
Euclyd разрабатывает ИИ-ускоритель Craftwerk с фирменной памятью UBM: 1 Тбайт и 8 Пбайт/с 9 ч.
Британский оператор BT в панике потребовал убрать все литиевые аккумуляторы из телефонных станций из-за риска возгорания 10 ч.
Геймерский 27-дюймовый QD-OLED-монитор Gigabyte Aorus FO27Q5P с 2K и 500 Гц дебютировал в России 11 ч.
Nothing представила CMF Headphone Pro — модульные полноразмерные наушники с автономностью на 100 часов за $99 11 ч.
Digital Realty получит от Current Hydro 500 ГВт∙ч энергии с американских ГЭС 11 ч.
В России подорожали ноутбуки премиум-класса — впереди новый виток роста цен 12 ч.