Сегодня 24 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Разработчики открытого ПО объявили партизанскую войну сборщикам данных для ИИ

Боты, которые массово собирают данные с веб-страниц для обучения и работы моделей искусственного интеллекта, становятся всё более ощутимой проблемой для владельцев сайтов. Некоторые разработчики начали давать отпор этим системам оригинальными способами, которые могут показаться наивными или ироничными, но во многих случаях они работают.

 Источник изображения: Ticka Kao / unsplash.com

Источник изображения: Ticka Kao / unsplash.com

Атаке веб-сканера сегодня может подвергнуться любой сайт. Иногда сайты даже теряют работоспособность, но сильнее прочих страдают разработчики ПО с открытым кодом: на сайтах таких проектов выкладываются материалы для скачивания, но ресурсов у них меньше, чем у коммерческих проектов. Проблема в том, что ИИ-боты игнорируют директивы файлов robot.txt, в которых указываются запрещённые для сканирования разделы. В январе разработчик открытого ПО Се Ясо (Xe Iaso) опубликовал в блоге «крик о помощи», рассказав о неподобающих действиях AmazonBot. Этот бот неустанно бил по Git-серверу разработчика, устраивая настоящие DDoS-атаки. Он игнорировал директивы robot.txt, менял IP-адреса, подменял значения строки User agent и прибегал к другим уловкам.

В итоге Ясо разработал программу Anubis, которая проводит проверку подключающихся к серверу Git клиентов — она блокирует ботов, но пропускает браузеры, которыми пользуются люди. Проект Anubis был опубликован на GitHub 19 марта, и всего за несколько дней он собрал 2000 звёзд, 20 участников и 39 форков. Успех программы указывает, что случай Ясо не уникален: на агрессивное поведение ИИ-ботов указал основатель и гендиректор платформы SourceHut Дрю ДеВолт (Drew DeVault), которому приходится от 20 % до 100 % рабочего времени тратить на защиту от веб-сканеров. Администратору проекта Linux Fedora Кевину Фензи (Kevin Fenzi) в какой-то момент пришлось полностью заблокировать Бразилию, а разработчик KDE Plasma Никколо Венеранди (Niccolò Venerandi) однажды временно заблокировал все китайские IP-адреса.

В январе анонимный разработчик под ником Aaron выпустил решение под названием Nepenthes в честь кувшиночника — насекомоядного растения. Система заманивает ИИ-ботов в «лабиринт» бесполезного контента, заставляя их сканировать чушь. Аналогичное решение недавно представила Cloudflare — оно получило более очевидное название AI Labyrinth. Эта система подключается, когда боты не соблюдают директиву «no crawl», — в результате они попусту тратят время и ресурсы. Дрю ДеВолт вообще призвал бойкотировать все новомодные ИИ-инструменты, в том числе большие языковые модели, генераторы изображений и GitHub Copilot. Едва ли это случится в действительности, поэтому разработчикам открытого ПО приходится подключать смекалку.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Великобритания заставит Google ослабить контроль над своим поисковиком 22 мин.
GSC Game World подтвердила дату выхода следующего крупного обновления для S.T.A.L.K.E.R. 2: Heart of Chornobyl 35 мин.
Амбициозная ролевая песочница Hytale в духе Minecraft спустя десять лет разработки отменена, а студия будет расформирована 2 ч.
Суд обязал OpenAI хранить даже удалённые чаты, но пользователи считают это тотальной слежкой 5 ч.
Конгресс США запретил сотрудникам пользоваться высокорискованным WhatsApp 13 ч.
«Продолжаем держать курс на крутые обновления»: создатели «Мира танков» и «Мира кораблей» нацелены обжаловать решение суда 13 ч.
Одна платформа, чтоб править всеми: в библиотеку Xbox на ПК скоро можно будет добавить игры из Steam, Battle.net и «других ведущих магазинов» 14 ч.
Точки восстановления в Windows 11 теперь живут всего 60 дней 15 ч.
Штраф в €500 млн подействовал: Apple изменит политику App Store, но не для всех 15 ч.
Фольклорный хоррор «Лихо одноглазое» от создателей «Чёрной книги» получил дату выхода в Steam и новый трейлер 15 ч.
Samsung подтвердила презентацию Unpacked 9 июля — покажут много новых складных смартфонов 25 мин.
Китай пообещал сотню прорывов в сфере ИИ, сопоставимых с выходом DeepSeek 59 мин.
Samsung заманивает инженеров на американские фабрики огромными зарплатами — в 1,5–2 раза выше, чем у Intel и TSMC 2 ч.
Процессор в составе новейшего ноутбука Huawei MateBook Fold выпускается по прежней 7-нм технологии 4 ч.
Владельцы «параллельно ввезённых» машин Lixiang до конца июня могут бесплатно получить мастер-аккаунт в РФ 7 ч.
Новая статья: Обзор ноутбука HONOR MagicBook Pro 14 (FMB-P) на платформе Core Ultra второго поколения 10 ч.
Акции Tesla подскочили на 8 % после запуска роботакси в Техасе 12 ч.
Huawei выпустит раскладушку Pocket 2 Premium Edition, которая будет дешевле оригинала 12 ч.
Новая статья: Обзор и тестирование Zalman P40 Prism White: корпус-призма 12 ч.
Yeston выпустила компактную GeForce RTX 5060 Cute Pet с милым оформлением 13 ч.