Сегодня 21 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → internet archive

Internet Archive оказался под атакой ботов и стал блокировать обычных пользователей

Сервис Wayback Machine, позволяющий проследить, как с течением времени менялись сайты и веб-страницы, перестал открываться у части пользователей. Владеющая сервисом платформа Internet Archive откликнулась на жалобы пользователей, объяснив неполадки нашествием ИИ-ботов.

 Источник изображения: archive.org

Источник изображения: archive.org

«Мы услышали ваше: „Почините Wayback Machine!“ Вот что происходит. Wayback Machine подвергается волнам большого объёма автоматизированного трафика, и мы развернули средства защиты, чтобы сервис продолжал работать», — рассказал в корпоративном блоге директор сервиса Марк Грэм (Mark Graham). К сожалению, из-за этих средств защиты под блокировкой оказываются добросовестные пользователи. При блокировке выводится ошибка с кодом 429, указывающим, что пользователь отправил слишком много запросов за определённый промежуток времени.

«Если это случилось с вами, нам очень жаль, и мы ценим ваше терпение, продолжая работать над сокращением числа сбоев. <..> Мы всё лучше отличаем ботов от людей, которые зависят от Wayback Machine», — добавил господин Грэм, предложив пострадавшим отправлять по электронной почте жалобы с указанием ОС, браузера и IP-адреса.

В 2023 году платформа Internet Archive на некоторое время уходила в офлайн, когда некий разработчик систем искусственного интеллекта стал десятками тысяч раз в секунду отправлять запросы на текстовые данные. По той же причине некоторые владельцы сайтов теперь блокируют и сам Internet Archive — они опасаются, что ИИ-боты скачают их материалы с этой платформы.

Архивировать интернет становится всё сложнее: Wayback Machine и Wikimedia страдают от дефицита HDD

Архивирование данных интернета оказывается всё более неподъёмной задачей из-за дефицита накопителей и роста цен на них. Жёсткие диски подорожали втрое, потому что оказались востребованными крупными компаниями. Это сильно осложняет работу таких проектов как Wayback Machine и Wikimedia.

 Источник изображения: Patrick Lindenberg / unsplash.com

Источник изображения: Patrick Lindenberg / unsplash.com

Некоммерческая организация Internet Archive, которая ставит своей целью обеспечить «доступ ко всем знаниям для всех», оказалась одной из организаций, пострадавших от кризиса. В её распоряжении хранилище объёмом около 210 Пбайт, и ещё 100 Тбайт ежедневно требует сервис Wayback Machine. Бум искусственного интеллекта превратил этот проект в «проблему, отнимающую у нас время и деньги», признаются его руководители. Для этой задачи идеально подходят жёсткие диски объёмом 28–30 Тбайт, но они часто отсутствуют на складах или продаются по сильно завышенным ценам. Отчасти эти проблемы помогают смягчить спонсоры проекта и сообщество — последнее, правда, только советами.

Ответственный за «Википедию» некоммерческий фонд Wikimedia испытывает сложные проблемы: 65 млн статей на платформе требует внушительных ресурсов, а главное — тщательно спланированного распределения бюджета, и текущая ситуация лишь усугубила эту проблему. Организация ощутила кризис при «закупке памяти и жёстких дисков, а также в отношении сроков поставки серверов и нашей способности размещать будущие заказы».

Ещё одна проблема состоит в том, что усложнились механизмы архивирования информации. Большие языковые модели ИИ обучаются на огромных массивах данных, которые подчас добываются незаконным путём — из-за этого владельцы многих сайтов блокируют доступ для средств сбора данных, не проводя различия между ИИ-ботами и добросовестными сервисами, которые собирают эту информацию в образовательных целях. Из-за подобных блокировок и роста цен на накопители не только крупные некоммерческие организации, но и одиночные энтузиасты вынуждены либо сокращать масштабы деятельности, либо вообще приостанавливать её — в ожидании, когда ситуация стабилизируется.

Активность архива интернета Wayback Machine резко рухнула в этом году, но скоро всё придёт в норму

Служба Wayback Machine проекта Internet Archive, занимающаяся созданием и хранением копий интернет-страниц, сейчас переживает своего рода спад — за последний год число создаваемых копий резко сократилось, обнаружили в Niemen Lab.

 Источник изображения: archive.org

Источник изображения: archive.org

С 1 января по 15 мая 2025 года сервис Wayback Machine сохранил 1,2 млн страниц со 100 крупных новостных сайтов, а с 17 мая по 1 октября текущего года с тех же 100 сайтов были сохранены всего 148 628 копий страниц, что соответствует сокращению на 87 %. Причиной тому стал «сбой у ряда отдельных проектов архивирования, из-за которого было создано меньше архивов для некоторых сайтов», сообщил директор сервиса Wayback Machine Марк Грэм (Mark Graham). Он добавил, что некоторые сохранённые после 16 мая материалы пока не появились на сайте, «поскольку ещё не созданы соответствующие индексы».

В подробности господин Грэм предпочёл не вдаваться, ограничившись упоминанием «различных операционных причин», связанных с «распределением ресурсов». Но причина сбоя, по его словам уже устранена, и скоро сайт продолжит работать в прежнем режиме. За последние несколько лет у проекта Internet Archive возникали проблемы и юридического характера: некоммерческая организация проиграла апелляцию в судебном разбирательстве, связанном с оцифровкой книг; а звукозаписывающие компании потребовали у неё $700 млн за проект, в рамках которого в открытый доступ выкладывались оцифровки старых виниловых пластинок.


window-new
Soft
Hard
Тренды 🔥
Персонажи с памятью и миры под управлением ИИ — Ubisoft создала Motherbrain для внедрения ИИ в игры 4 ч.
Из систем суперкомпьютера Fugaku украдены сотни закрытых ключей для доступа к другим суперкомпьютерам и облакам 5 ч.
Биткоин рухнул до двухлетнего минимума — от рекордных $126 000 не осталось и половины 8 ч.
Новая статья: Tanuki: Pon’s Summer — самая очаровательная версия Японии. Рецензия 19 ч.
Запуск GTA VI установил абсолютный рекорд индустрии развлечений — 32 миллиона проданных копий и $3,79 миллиарда выручки 19 ч.
В Steam выйдет самое полное издание «Дальнобойщиков 3: Покорение Америки» с поддержкой русского языка и недоступным прежде контентом 21 ч.
«Включить Bluetooth», «убрать звук», «тёмный режим»: поиск Windows 11 превратился в пульт управления ПК 22 ч.
Anthropic заявила о доказательстве гипотезы Римана с помощью ИИ — одной из главных загадок математики, над которой бились 167 лет 23 ч.
Аналитики: стартовые продажи GTA VI стали лучшими в истории индустрии развлечений и уже принесли Rockstar более двух миллиардов долларов 23 ч.
Миллионы смотрели, миллиарды пакетов летели: GTA VI устроила интернету стресс-тест, взвинтив трафик до рекордных 33 Тбит/с 23 ч.
Восемь лет и девять гравитационных манёвров — BepiColombo выходит на орбиту Меркурия 33 мин.
Трамп надумал брать налоги с зарубежных ЦОД американских компаний 4 ч.
Everpure отчиталась о рекордной выручке и повысила прогноз на год 5 ч.
«Аладдин» представил Aladdin LiveTSM — сертифицированное средство доверенной загрузки для Windows и Linux 5 ч.
«Было установлено, что он лгал» — вот почему Хуанга уволили из Nvidia 9 ч.
Махинации в бухгалтерии Nvidia заинтересовали Комиссию по ценным бумагам и биржам США 9 ч.
Micron собралась поставить память прямо на процессоры — многослойная DRAM появится в 2028–2029 годах 18 ч.
Фотонные сопроцессоры Q.ANT NPU Gen 2+ ускорят работу ИИ 21 ч.
Valve предупредила, что Steam Machine может стать дефицитной и подорожать, —  и объяснила почему 21 ч.
«Фотонная» память для ИИ: MemoryAI Photonic Appliance от Penguin Solutions объединяет до 16 Тбайт DDR5 и 576 Гбайт HBM3E 21 ч.