Сегодня 11 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Разработчики открытого ПО объявили партизанскую войну сборщикам данных для ИИ

Боты, которые массово собирают данные с веб-страниц для обучения и работы моделей искусственного интеллекта, становятся всё более ощутимой проблемой для владельцев сайтов. Некоторые разработчики начали давать отпор этим системам оригинальными способами, которые могут показаться наивными или ироничными, но во многих случаях они работают.

 Источник изображения: Ticka Kao / unsplash.com

Источник изображения: Ticka Kao / unsplash.com

Атаке веб-сканера сегодня может подвергнуться любой сайт. Иногда сайты даже теряют работоспособность, но сильнее прочих страдают разработчики ПО с открытым кодом: на сайтах таких проектов выкладываются материалы для скачивания, но ресурсов у них меньше, чем у коммерческих проектов. Проблема в том, что ИИ-боты игнорируют директивы файлов robot.txt, в которых указываются запрещённые для сканирования разделы. В январе разработчик открытого ПО Се Ясо (Xe Iaso) опубликовал в блоге «крик о помощи», рассказав о неподобающих действиях AmazonBot. Этот бот неустанно бил по Git-серверу разработчика, устраивая настоящие DDoS-атаки. Он игнорировал директивы robot.txt, менял IP-адреса, подменял значения строки User agent и прибегал к другим уловкам.

В итоге Ясо разработал программу Anubis, которая проводит проверку подключающихся к серверу Git клиентов — она блокирует ботов, но пропускает браузеры, которыми пользуются люди. Проект Anubis был опубликован на GitHub 19 марта, и всего за несколько дней он собрал 2000 звёзд, 20 участников и 39 форков. Успех программы указывает, что случай Ясо не уникален: на агрессивное поведение ИИ-ботов указал основатель и гендиректор платформы SourceHut Дрю ДеВолт (Drew DeVault), которому приходится от 20 % до 100 % рабочего времени тратить на защиту от веб-сканеров. Администратору проекта Linux Fedora Кевину Фензи (Kevin Fenzi) в какой-то момент пришлось полностью заблокировать Бразилию, а разработчик KDE Plasma Никколо Венеранди (Niccolò Venerandi) однажды временно заблокировал все китайские IP-адреса.

В январе анонимный разработчик под ником Aaron выпустил решение под названием Nepenthes в честь кувшиночника — насекомоядного растения. Система заманивает ИИ-ботов в «лабиринт» бесполезного контента, заставляя их сканировать чушь. Аналогичное решение недавно представила Cloudflare — оно получило более очевидное название AI Labyrinth. Эта система подключается, когда боты не соблюдают директиву «no crawl», — в результате они попусту тратят время и ресурсы. Дрю ДеВолт вообще призвал бойкотировать все новомодные ИИ-инструменты, в том числе большие языковые модели, генераторы изображений и GitHub Copilot. Едва ли это случится в действительности, поэтому разработчикам открытого ПО приходится подключать смекалку.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
ГК «Гарда»: лишь треть российских компаний использует решения для защиты данных 7 мин.
Новая статья: В малом весе: обзор российских мобильных операционных систем 9 ч.
YouTube объявил о закрытии раздела «В тренде», но уже готовит ему замену 9 ч.
Первый геймплей боевика «Земский собор» от создателей «Смуты» не впечатлил игроков 9 ч.
Спутниковый интернет Starlink теперь доступен в 1000 самолётов по всему миру — 100 Мбит/с в небе, бесплатно 10 ч.
Забастовка актёров озвучки игр наконец завершена — участники SAG-AFTRA одобрили новый договор 11 ч.
«Я был пьян, но утечки так и не случилось»: глава издательского отдела Larian рассказал, как чуть не «слил» дату выхода Baldur's Gate 3 13 ч.
Google Gemini научился превращать фото в восьмисекундные видео со звуком, но небесплатно 13 ч.
ЕС открыл новое дело против TikTok за передачу данных европейцев в Китай — ранее соцсеть уже штрафовали за это на €530 млн 13 ч.
Elden Ring Nightreign возглавила рейтинг самых продаваемых игр в США за май — в первой пятёрке оказалось четыре игры от Microsoft 14 ч.
Электрический гиперкар Rimac Nevera R установил 24 новых мировых рекорда, разогнавшись до 431,45 км/ч 39 мин.
Huawei пытается продвигать свои ускорители вычислений на Ближнем Востоке и в Юго-Восточной Азии 2 ч.
Аналитики усомнились в рентабельности бизнеса Starlink после опубликованного отчёта 3 ч.
Масштабные планы Apple на 2026: новые Mac, iPad, iPhone и неожиданно внешний монитор 3 ч.
Глава Nvidia встретился с Дональдом Трампом перед визитом в Китай, капитализация компании превысила $4 трлн 4 ч.
Meta готовит новые умные очки Ray-Ban без дисплея, но с улучшенной батареей 4 ч.
Razer представила игровую мышь DeathAdder V4 Pro за $170 с оптическим колёсиком и сенсором на 45 000 DPI 10 ч.
Philips выпустила 27-дюймовый игровой монитор Evnia 27M2N3800A с поддержкой 4K@160 Гц и FHD@320 Гц 10 ч.
Роботы-койоты на колёсах заменили робопсов в охране военных аэродромов США от диких зверей — они оказались шустрее 12 ч.
Infinix представила тонкие и недорогие смартфоны Hot 60 Pro+ и Hot 60 Pro с ярким дизайном и быстрыми экранами 13 ч.