Сегодня 25 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Сборщики данных для ИИ оказались виновниками массового замедления сайтов по всему интернету

Платформа Git-хостинга открытых проектов SourceHut заявила, что работа её сервисов замедлилась из-за веб-сканеров, которые запускают компании — разработчики систем искусственного интеллекта. Похожие жалобы всё чаще поступают и от владельцев других ресурсов.

 Источник изображения: Kai Wenzel / unsplash.com

Источник изображения: Kai Wenzel / unsplash.com

Чтобы ограничить трафик от ИИ-ботов, SourceHut пришлось развернуть Nepenthes — средство защиты от недобросовестно работающих веб-сканеров, собирающих данные для обучения моделей ИИ. Администрация платформы в одностороннем порядке целиком заблокировала диапазоны адресов нескольких облачных провайдеров, в том числе Google Cloud и Microsoft Azure, из-за чрезмерных объёмов трафика от развёрнутых в их сетях ботов. Владельцам добросовестно работающих сервисов на этих инфраструктурах рекомендовали связываться с администрацией SourceHut в индивидуальном порядке, чтобы добавлять их в исключения. В 2022 году SourceHut также пострадала из-за слишком частых обращений к её ресурсам от службы Google Go Module Mirror.

В 2023 году OpenAI заверила, что её боты будут выполнять директивы из файлов robots.txt, указывающих правила обработки данных с сайтов веб-сканерами. Аналогичные обязательства взяли на себя и другие разработчики ИИ, но жалобы на злоупотребления продолжают поступать. Летом минувшего года сайт iFixit, в частности, подвергся нашествию со стороны бота Anthropic Claudebot. В декабре хостер Vercel сообщил о значительном присутствии ИИ-сканеров в его инфраструктуре: OpenAI GPTbot отправил в его сеть 569 млн запросов, Anthropic Claude — 370 млн. В совокупности они достигли около 20 % от 4,5 млрд запросов Googlebot, который используется для индексации ресурсов в Google.

 Источник изображения: Kai Wenzel / unsplash.com

Источник изображения: Kai Wenzel / unsplash.com

Тогда же разработчик распределённой соцсети Diaspora Деннис Шуберт (Dennis Schubert) пожаловался, что за предшествующие 60 дней на ИИ-ботов пришлись 70 % трафика на его сервер. Публикация обрела вирусную популярность, и активность ИИ-сканеров резко сократилась; однако сетевые хулиганы устроили на его ресурс массовое нашествие запросов от клиентов со значением строки user-agent, совпадающим с OpenAI GPTbot. Вот только настоящий ИИ-бот OpenAI отправляет запросы из инфраструктуры Microsoft Azure, а в случае с сервером Diaspora они исходили с адресов AWS и даже от американских интернет-провайдеров.

Иногда ситуация осложняется тем, что некоторые боты имеют несколько предназначений. Так, Meta AI bot и AppleBot собирают данные исключительно для обучения ИИ, тогда как GoogleBot служит и для ИИ, и для индексации в поиске. Чтобы избежать путаницы, Google в 2023 году добавила отдельное значение Google-Extended для инструментов обучения ИИ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: The Midnight Walk — из искры разгорится пламя. Рецензия 15 ч.
Новая статья: Gamesblender № 727: «правильные» обзоры RTX 5060, два города в сиквеле Cyberpunk и ремастер Syberia 16 ч.
Немецкий суд постановил, что на сайтах должна быть кнопка для отказа от всех файлов cookie сразу 19 ч.
Пожар в дата-центре, арендованном Маском, парализовал работу соцсети X 20 ч.
Новая статья: Doom: The Dark Ages — король по праву. Рецензия 24-05 00:10
База с данными 184 млн аккаунтов Apple, Google, Microsoft и других сервисов лежала в Сети просто так 23-05 23:48
Настоящий детектив, обвинения невиновных и запугивание врагов: подробности ролевой игры Warhammer 40,000: Dark Heresy от создателей Rogue Trader 23-05 22:07
Microsoft готовит «бету» Gears of War: Reloaded, но никому об этом не сказала — тестовая версия ремастера засветилась в базе данных Steam 23-05 20:16
Konami показала вступление Metal Gear Solid Delta: Snake Eater с новой версией легендарной песни 23-05 19:15
SteamOS получила официальную совместимость с Legion Go S и другими консолями на платформе AMD 23-05 19:03
«Ростелеком», «Т8» и РФРИТ создадут российскую систему управления для сверхскоростных магистральных сетей связи 2 ч.
ASUS показала компактный ИИ-суперкомпьютер Ascent GX10 и рабочую станцию ExpertCenter Pro ET900N G3 на базе Blackwell 2 ч.
Представлен планшет Honor Pad 10 — 12-дюймовый дисплей 2,5K, чип Snapdragon 7 Gen 3 и аккумулятор на 10 100 мА·ч 3 ч.
Перенос производства iPhone в США повлечёт целый комплекс проблем 7 ч.
Nikon поднимет цены на свою продукцию в США через месяц из-за таможенных пошлин 9 ч.
Чтобы исправить проблемы в своих компаниях, Илон Маск решил спать на работе 16 ч.
Supermicro представила сервер-микрооблако на базе AMD EPYC Grado 17 ч.
В США началась ядерная перестройка — Трамп хочет активизировать строительство АЭС 17 ч.
Пожар в орегонском ЦОД Digital Realty привёл к масштабному сбою X (Twitter) 17 ч.
Nvidia выпустит для Китая упрощённый ускоритель Blackwell стоимостью $6500-8000 19 ч.