Сегодня 15 мая 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → wikimedia

Архивировать интернет становится всё сложнее: Wayback Machine и Wikimedia страдают от дефицита HDD

Архивирование данных интернета оказывается всё более неподъёмной задачей из-за дефицита накопителей и роста цен на них. Жёсткие диски подорожали втрое, потому что оказались востребованными крупными компаниями. Это сильно осложняет работу таких проектов как Wayback Machine и Wikimedia.

 Источник изображения: Patrick Lindenberg / unsplash.com

Источник изображения: Patrick Lindenberg / unsplash.com

Некоммерческая организация Internet Archive, которая ставит своей целью обеспечить «доступ ко всем знаниям для всех», оказалась одной из организаций, пострадавших от кризиса. В её распоряжении хранилище объёмом около 210 Пбайт, и ещё 100 Тбайт ежедневно требует сервис Wayback Machine. Бум искусственного интеллекта превратил этот проект в «проблему, отнимающую у нас время и деньги», признаются его руководители. Для этой задачи идеально подходят жёсткие диски объёмом 28–30 Тбайт, но они часто отсутствуют на складах или продаются по сильно завышенным ценам. Отчасти эти проблемы помогают смягчить спонсоры проекта и сообщество — последнее, правда, только советами.

Ответственный за «Википедию» некоммерческий фонд Wikimedia испытывает сложные проблемы: 65 млн статей на платформе требует внушительных ресурсов, а главное — тщательно спланированного распределения бюджета, и текущая ситуация лишь усугубила эту проблему. Организация ощутила кризис при «закупке памяти и жёстких дисков, а также в отношении сроков поставки серверов и нашей способности размещать будущие заказы».

Ещё одна проблема состоит в том, что усложнились механизмы архивирования информации. Большие языковые модели ИИ обучаются на огромных массивах данных, которые подчас добываются незаконным путём — из-за этого владельцы многих сайтов блокируют доступ для средств сбора данных, не проводя различия между ИИ-ботами и добросовестными сервисами, которые собирают эту информацию в образовательных целях. Из-за подобных блокировок и роста цен на накопители не только крупные некоммерческие организации, но и одиночные энтузиасты вынуждены либо сокращать масштабы деятельности, либо вообще приостанавливать её — в ожидании, когда ситуация стабилизируется.

«Википедия» отметила 25-летие и рассказала, кто стоит за 65 млн статей

«Википедия» отмечает 25 лет с момента своего запуска — дата основания ресурса приходится на 15 января 2001 года. За это время скромный сайт с сотней страниц превратился в один из крупнейших источников знаний в интернете. Сегодня на платформе размещено более 65 миллионов статей на множестве языков, которые ежемесячно получают около 15 миллиардов просмотров. Отмечая свой юбилей, проект решил показать, кто на самом деле стоит за этим массивом информации.

 Источник изображения: Wikimedia

Источник изображения: Wikimedia

В честь события фонд Wikimedia — некоммерческая организация, поддерживающая «Википедию», выпустила серию коротких документальных фильмов, посвящённых восьми её основным редакторам. Среди них участник под ником Hurricane Hank, который начал редактировать «Википедию» в 2005 году и внёс значительный вклад в статью об урагане Катрина, а также врач из Индии Нитха (Netha), которая использовала свои медицинские знания для борьбы с дезинформацией, касающейся пандемии COVID-19

В мини-сериале также рассказывается о Джоанн (Joanne) из Великобритании, которая взяла на себя инициативу по созданию страницы в «Википедии», посвящённой Элоиз Батлер (Eloise Butler) — создательнице первого в США общественного сада дикорастущих цветов. Ещё один редактор, Гейб (Gabe), сосредоточен на представлении полноценной и достоверной информации в энциклопедии об исторических фигурах афроамериканского происхождения.

Фонд Wikimedia также запустил цифровую «капсулу времени» с аудиозаписью от основателя «Википедии» Джимми Уэйлса (Jimmy Wales), в которой рассказывается о знаменательных моментах в истории сайта, в том числе о том, как когда-то серверы платформы чуть не вышли из строя после того, как сайт был переполнен сообщениями от пользователей после смерти Майкла Джексона (Michael Jackson) в 2009 году.

Как отмечает The Verge, несмотря на рост популярности, «Википедия» в последние годы постоянно сталкивается с серьёзными вызовами, в частности со стороны политиков, обвиняющих сайт в предвзятости. Однако проект продолжает функционировать как некоммерческая инициатива, основанная на принципах открытости и коллективного редактирования. Джимми Уэйлз отметил, что «Википедия» стала «основой знаний в интернете» и продемонстрировала, как совместные усилия, основанные на доверии и сотрудничестве, способны реализовать то, что раньше казалось невозможным.

ИИ-компании заплатят «Википедии», чтобы она не разорилась из-за скрапинга

Соучредитель «Википедии» Джимми Уэйлс (Jimmy Wales) сообщил, что онлайн-энциклопедия совместно с крупными технологическими компаниями занимается подготовкой сделок по лицензированию контента для обучения ИИ, аналогичных соглашению с Google, чтобы возместить рост расходов, связанных со скрапингом.

 Источник изображения: Oberon Copeland @veryinformed.com/unsplash.com

Источник изображения: Oberon Copeland @veryinformed.com/unsplash.com

Уэйлс заявил на саммите Reuters Next в Нью-Йорке, что использование технологическими компаниями контента «Википедии» для обучения больших языковых моделей приводит к резкому росту расходов, которые ложатся на некоммерческого оператора сайта. «ИИ-боты, сканирующие «Википедию», обрабатывают весь сайт. Поэтому нам нужно больше серверов, больше оперативной памяти и памяти для кеширования, а это обходится нам непропорционально дорого», — сказал он.

Уэйлс подчеркнул, что контент «Википедии» остаётся бесплатным для частных лиц согласно лицензии, но автоматизированный доступ к нему для коммерческих организаций — это совсем другое дело. Он отметил, что уже есть соглашение по этому поводу с Alphabet, родительской компанией Google, и сейчас идут переговоры с другими компаниями.

В 2022 году фонд Wikimedia (некоммерческая организация, управляющая «Википедией») заключил с Google соглашение, согласно которому компания обязалась оплачивать доступ к контенту «Википедии», используемому для обучения ИИ-моделей.

Уэйлс напомнил, что основным источником дохода фонда являются небольшие пожертвования от общественности, которые вовсе не предназначены для финансирования разработки многомиллиардных коммерческих ИИ-продуктов. «Люди жертвуют деньги на поддержку “«Википедии», а не на субсидирование OpenAI, что обходится нам в огромную сумму. Это несправедливо», — заявил он.

Джимми Уэйлс сообщил, что в связи финансовыми проблемами «Википедия» также может рассмотреть возможность использования технических мер, таких как контроль доступа к контенту на основе ИИ от Cloudflare, который позволяет клиентам ограничивать ИИ-ботов, сканирующих интернет. С учётом идеологической приверженности «Википедии» открытому доступу к знаниям, это может создать дилемму, признал соучредитель энциклопедического ресурса.

Ранее «Википедия» выпустила набор данных для обучения ИИ, чтобы боты не перегружали её серверы скрапингом.

Прокуратура США усомнилась в праве «Википедии» на налоговые льготы из-за иностранного вмешательства

Временный прокурор округа Колумбия Эд Мартин (Ed Martin) обвинил «Википедию» в нарушении законодательства США и пригрозил пересмотром её статуса некоммерческой организации. Скандал разгорелся вокруг обвинений в искажении исторических фактов и вмешательстве иностранных агентов.

 Источник изображений: The Wikimedia Foundation

Источник изображений: The Wikimedia Foundation

Стало известно, что исполняющий обязанности федерального прокурора округа Колумбия Эд Мартин (Ed Martin) направил официальное письмо в «Фонд Викимедиа» (Wikimedia Foundation), управляющий «Википедией». Письмо, копия которого оказалась в распоряжении издания The Free Press, ставит под сомнение соблюдение Фондом критериев для сохранения статуса некоммерческой организации в соответствии с разделом 501(c)(3) Налогового кодекса США. Мартин утверждает, что «Википедия» якобы позволяет иностранным агентам целенаправленно редактировать страницы, искажая исторические факты и распространяя пропаганду, что, по его мнению, создаёт угрозу национальной безопасности США.

Американское законодательство требует, чтобы организации, освобождённые от уплаты налогов, действовали исключительно в религиозных, благотворительных, научных или образовательных целях, а также в целях общественной безопасности. В письме Мартин подчёркивает, что деятельность «Википедии», связанная с манипуляцией историческими фактами и распространением дезинформации, может нарушать эти обязательства, что ставит под сомнение её право на налоговые привилегии.

В последние недели Эд Мартин направил обвинительные письма в несколько известных научных журналов: New England Journal of Medicine, CHEST Journal и Obstetrics and Gynecology. В этих письмах он утверждает, что редакции этих изданий проявляют политическую предвзятость в научных дискуссиях. Мартин уже давно известен своей практикой подачи плохо обоснованных юридических претензий против СМИ, часто сопровождаемых спорными и трудно доказываемыми обвинениями.

 Источник изображений: The Wikimedia Foundation

В своём письме к «Фонду Викимедиа» Мартин требует разъяснений по нескольким пунктам: какие меры организация принимает для защиты общественности от пропаганды, какие шаги предпринимаются для исключения целенаправленных правок информации иностранными агентами, а также каким образом предотвращается искажение или переписывание исторических фактов. Ответ на это официальное обращение должен поступить в прокуратуру округа Колумбия не позднее 15 мая.

В ответ на обвинения заместитель главного юрисконсульта «Фонда Викимедиа» Джейкоб Роджерс (Jacob Rogers) сообщил, что содержание «Википедии» регулируется тремя основными принципами: нейтральности изложения, обязательной проверяемости фактов и строгого запрета на размещение оригинальных исследований. Роджерс подчеркнул, что процесс создания и редактирования материалов осуществляется почти 260 тысячами добровольцев по всему миру. Также он подчеркнул, что Фонд приветствует возможность объяснить общественности, как работает Википедия, и готов сделать это в надлежащем правовом формате.

Давление на «Википедию» со стороны правых сил усиливается. В 2024 году Илон Маск (Elon Musk) публично призвал своих сторонников прекратить пожертвования в адрес «Вокепедии» — так он саркастически назвал Википедию, намекая на её предполагаемую политическую ангажированность. Позже он охарактеризовал сайт как «продолжение пропаганды традиционных СМИ». В январе 2025 года издание Forward.com сообщило, что Фонд Наследия (The Heritage Foundation) подготовил презентацию, ориентированную на целенаправленное воздействие на редакторов «Википедии» и подрыв их редакционной независимости.

«Фонд Викимедиа» с тех пор разработал инструменты для защиты анонимности своих редакторов. Генеральный директор Фонда Мариана Искандер (Maryana Iskander) в марте этого года заявила, что организация фиксирует рост угроз со стороны государств и частных структур по всему миру. Об этом она сообщила в интервью для 404 Media, подчеркнув увеличение числа попыток регулирования деятельности платформы, а также угроз судебными исками против редакторов и администраторов «Википедии».


window-new
Soft
Hard
Тренды 🔥
Вайбкодить теперь можно на ходу: в ChatGPT для смартфонов появился Codex 12 мин.
«Группа Астра» запустила магазин приложений Astra Store для корпоративного рынка 2 ч.
Исследование: 9 из 10 финансовых советов блогеров признали плохими — но люди всё равно довольны 2 ч.
Первый этап дела «Маск против Альтмана» завершён — теперь слово за присяжными 2 ч.
Subnautica 2 достигла двух миллионов проданных копий спустя всего 12 часов раннего доступа 2 ч.
Дилогию VR-приключений Moss превратят в одну игру для ПК и консолей — трейлер и подробности Moss: The Forgotten Relic 3 ч.
«Выглядит сногсшибательно»: подводный геймплей в Assassin’s Creed Black Flag Resynced заворожил фанатов 3 ч.
Великобритания инициировала антимонопольное расследование практик лицензирования ПО в экосистеме Microsoft 4 ч.
Google пояснила, почему втрое урезало бесплатное облачное хранилище для новых пользователей Gmail 4 ч.
xAI Маска выпустила ИИ-агента Grok Build — конкурента Claude Code для генерации программного кода 4 ч.
Представлен флагманский игровой ноутбук Asus ROG Strix SCAR 18 с потреблением до 320 Вт 19 мин.
Asus выпустила свою первую оперативную память — и сразу за $880 36 мин.
Немецкие учёные добились рекордного КПД при превращении солнечного света в водород 40 мин.
Asus представила трёхлитровый игровой ПК ROG NUC 16 — он меньше PS5, но в 7,5 раз дороже 2 ч.
Геймерские AR-очки Asus ROG Xreal R1 доступны для предзаказа за $849 2 ч.
ИИ-бум превратил Kioxia в одну из самых дорогих компаний Японии — прибыль взлетела на 93 % 2 ч.
Пока мир гонится за ИИ-чипами, китайская SMIC зарабатывает на зрелых техпроцессах 2 ч.
Импортозамещение забуксовало: продажи российских ноутбуков рухнули почти на 70 % 2 ч.
JCB представила гоночный автомобиль Hydromax на 1200-сильном водородном ДВС — он создан для рекордов 2 ч.
Hobot выпустила робота-мойщика окон Hobot SP10 с подвижными скребками для кристально чистого результата 3 ч.