Опрос
|
реклама
Быстрый переход
Internet Archive оказался под атакой ботов и стал блокировать обычных пользователей
16.09.2026 [19:22],
Павел Котов
Сервис Wayback Machine, позволяющий проследить, как с течением времени менялись сайты и веб-страницы, перестал открываться у части пользователей. Владеющая сервисом платформа Internet Archive откликнулась на жалобы пользователей, объяснив неполадки нашествием ИИ-ботов. 
Источник изображения: archive.org «Мы услышали ваше: „Почините Wayback Machine!“ Вот что происходит. Wayback Machine подвергается волнам большого объёма автоматизированного трафика, и мы развернули средства защиты, чтобы сервис продолжал работать», — рассказал в корпоративном блоге директор сервиса Марк Грэм (Mark Graham). К сожалению, из-за этих средств защиты под блокировкой оказываются добросовестные пользователи. При блокировке выводится ошибка с кодом 429, указывающим, что пользователь отправил слишком много запросов за определённый промежуток времени. «Если это случилось с вами, нам очень жаль, и мы ценим ваше терпение, продолжая работать над сокращением числа сбоев. <..> Мы всё лучше отличаем ботов от людей, которые зависят от Wayback Machine», — добавил господин Грэм, предложив пострадавшим отправлять по электронной почте жалобы с указанием ОС, браузера и IP-адреса. В 2023 году платформа Internet Archive на некоторое время уходила в офлайн, когда некий разработчик систем искусственного интеллекта стал десятками тысяч раз в секунду отправлять запросы на текстовые данные. По той же причине некоторые владельцы сайтов теперь блокируют и сам Internet Archive — они опасаются, что ИИ-боты скачают их материалы с этой платформы. Архивировать интернет становится всё сложнее: Wayback Machine и Wikimedia страдают от дефицита HDD
08.05.2026 [17:21],
Павел Котов
Архивирование данных интернета оказывается всё более неподъёмной задачей из-за дефицита накопителей и роста цен на них. Жёсткие диски подорожали втрое, потому что оказались востребованными крупными компаниями. Это сильно осложняет работу таких проектов как Wayback Machine и Wikimedia. 
Источник изображения: Patrick Lindenberg / unsplash.com Некоммерческая организация Internet Archive, которая ставит своей целью обеспечить «доступ ко всем знаниям для всех», оказалась одной из организаций, пострадавших от кризиса. В её распоряжении хранилище объёмом около 210 Пбайт, и ещё 100 Тбайт ежедневно требует сервис Wayback Machine. Бум искусственного интеллекта превратил этот проект в «проблему, отнимающую у нас время и деньги», признаются его руководители. Для этой задачи идеально подходят жёсткие диски объёмом 28–30 Тбайт, но они часто отсутствуют на складах или продаются по сильно завышенным ценам. Отчасти эти проблемы помогают смягчить спонсоры проекта и сообщество — последнее, правда, только советами. Ответственный за «Википедию» некоммерческий фонд Wikimedia испытывает сложные проблемы: 65 млн статей на платформе требует внушительных ресурсов, а главное — тщательно спланированного распределения бюджета, и текущая ситуация лишь усугубила эту проблему. Организация ощутила кризис при «закупке памяти и жёстких дисков, а также в отношении сроков поставки серверов и нашей способности размещать будущие заказы». Ещё одна проблема состоит в том, что усложнились механизмы архивирования информации. Большие языковые модели ИИ обучаются на огромных массивах данных, которые подчас добываются незаконным путём — из-за этого владельцы многих сайтов блокируют доступ для средств сбора данных, не проводя различия между ИИ-ботами и добросовестными сервисами, которые собирают эту информацию в образовательных целях. Из-за подобных блокировок и роста цен на накопители не только крупные некоммерческие организации, но и одиночные энтузиасты вынуждены либо сокращать масштабы деятельности, либо вообще приостанавливать её — в ожидании, когда ситуация стабилизируется. Активность архива интернета Wayback Machine резко рухнула в этом году, но скоро всё придёт в норму
22.10.2025 [17:07],
Павел Котов
Служба Wayback Machine проекта Internet Archive, занимающаяся созданием и хранением копий интернет-страниц, сейчас переживает своего рода спад — за последний год число создаваемых копий резко сократилось, обнаружили в Niemen Lab. 
Источник изображения: archive.org С 1 января по 15 мая 2025 года сервис Wayback Machine сохранил 1,2 млн страниц со 100 крупных новостных сайтов, а с 17 мая по 1 октября текущего года с тех же 100 сайтов были сохранены всего 148 628 копий страниц, что соответствует сокращению на 87 %. Причиной тому стал «сбой у ряда отдельных проектов архивирования, из-за которого было создано меньше архивов для некоторых сайтов», сообщил директор сервиса Wayback Machine Марк Грэм (Mark Graham). Он добавил, что некоторые сохранённые после 16 мая материалы пока не появились на сайте, «поскольку ещё не созданы соответствующие индексы». В подробности господин Грэм предпочёл не вдаваться, ограничившись упоминанием «различных операционных причин», связанных с «распределением ресурсов». Но причина сбоя, по его словам уже устранена, и скоро сайт продолжит работать в прежнем режиме. За последние несколько лет у проекта Internet Archive возникали проблемы и юридического характера: некоммерческая организация проиграла апелляцию в судебном разбирательстве, связанном с оцифровкой книг; а звукозаписывающие компании потребовали у неё $700 млн за проект, в рамках которого в открытый доступ выкладывались оцифровки старых виниловых пластинок. |
© 1997—2026 3DNews
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является
нарушением
российского и международного законодательства и возможно только с согласия редакции 3DNews.
MWC 2018
2018
Computex
IFA 2018
