Сегодня 05 июня 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → wikimedia

Архивировать интернет становится всё сложнее: Wayback Machine и Wikimedia страдают от дефицита HDD

Архивирование данных интернета оказывается всё более неподъёмной задачей из-за дефицита накопителей и роста цен на них. Жёсткие диски подорожали втрое, потому что оказались востребованными крупными компаниями. Это сильно осложняет работу таких проектов как Wayback Machine и Wikimedia.

 Источник изображения: Patrick Lindenberg / unsplash.com

Источник изображения: Patrick Lindenberg / unsplash.com

Некоммерческая организация Internet Archive, которая ставит своей целью обеспечить «доступ ко всем знаниям для всех», оказалась одной из организаций, пострадавших от кризиса. В её распоряжении хранилище объёмом около 210 Пбайт, и ещё 100 Тбайт ежедневно требует сервис Wayback Machine. Бум искусственного интеллекта превратил этот проект в «проблему, отнимающую у нас время и деньги», признаются его руководители. Для этой задачи идеально подходят жёсткие диски объёмом 28–30 Тбайт, но они часто отсутствуют на складах или продаются по сильно завышенным ценам. Отчасти эти проблемы помогают смягчить спонсоры проекта и сообщество — последнее, правда, только советами.

Ответственный за «Википедию» некоммерческий фонд Wikimedia испытывает сложные проблемы: 65 млн статей на платформе требует внушительных ресурсов, а главное — тщательно спланированного распределения бюджета, и текущая ситуация лишь усугубила эту проблему. Организация ощутила кризис при «закупке памяти и жёстких дисков, а также в отношении сроков поставки серверов и нашей способности размещать будущие заказы».

Ещё одна проблема состоит в том, что усложнились механизмы архивирования информации. Большие языковые модели ИИ обучаются на огромных массивах данных, которые подчас добываются незаконным путём — из-за этого владельцы многих сайтов блокируют доступ для средств сбора данных, не проводя различия между ИИ-ботами и добросовестными сервисами, которые собирают эту информацию в образовательных целях. Из-за подобных блокировок и роста цен на накопители не только крупные некоммерческие организации, но и одиночные энтузиасты вынуждены либо сокращать масштабы деятельности, либо вообще приостанавливать её — в ожидании, когда ситуация стабилизируется.

«Википедия» отметила 25-летие и рассказала, кто стоит за 65 млн статей

«Википедия» отмечает 25 лет с момента своего запуска — дата основания ресурса приходится на 15 января 2001 года. За это время скромный сайт с сотней страниц превратился в один из крупнейших источников знаний в интернете. Сегодня на платформе размещено более 65 миллионов статей на множестве языков, которые ежемесячно получают около 15 миллиардов просмотров. Отмечая свой юбилей, проект решил показать, кто на самом деле стоит за этим массивом информации.

 Источник изображения: Wikimedia

Источник изображения: Wikimedia

В честь события фонд Wikimedia — некоммерческая организация, поддерживающая «Википедию», выпустила серию коротких документальных фильмов, посвящённых восьми её основным редакторам. Среди них участник под ником Hurricane Hank, который начал редактировать «Википедию» в 2005 году и внёс значительный вклад в статью об урагане Катрина, а также врач из Индии Нитха (Netha), которая использовала свои медицинские знания для борьбы с дезинформацией, касающейся пандемии COVID-19

В мини-сериале также рассказывается о Джоанн (Joanne) из Великобритании, которая взяла на себя инициативу по созданию страницы в «Википедии», посвящённой Элоиз Батлер (Eloise Butler) — создательнице первого в США общественного сада дикорастущих цветов. Ещё один редактор, Гейб (Gabe), сосредоточен на представлении полноценной и достоверной информации в энциклопедии об исторических фигурах афроамериканского происхождения.

Фонд Wikimedia также запустил цифровую «капсулу времени» с аудиозаписью от основателя «Википедии» Джимми Уэйлса (Jimmy Wales), в которой рассказывается о знаменательных моментах в истории сайта, в том числе о том, как когда-то серверы платформы чуть не вышли из строя после того, как сайт был переполнен сообщениями от пользователей после смерти Майкла Джексона (Michael Jackson) в 2009 году.

Как отмечает The Verge, несмотря на рост популярности, «Википедия» в последние годы постоянно сталкивается с серьёзными вызовами, в частности со стороны политиков, обвиняющих сайт в предвзятости. Однако проект продолжает функционировать как некоммерческая инициатива, основанная на принципах открытости и коллективного редактирования. Джимми Уэйлз отметил, что «Википедия» стала «основой знаний в интернете» и продемонстрировала, как совместные усилия, основанные на доверии и сотрудничестве, способны реализовать то, что раньше казалось невозможным.

ИИ-компании заплатят «Википедии», чтобы она не разорилась из-за скрапинга

Соучредитель «Википедии» Джимми Уэйлс (Jimmy Wales) сообщил, что онлайн-энциклопедия совместно с крупными технологическими компаниями занимается подготовкой сделок по лицензированию контента для обучения ИИ, аналогичных соглашению с Google, чтобы возместить рост расходов, связанных со скрапингом.

 Источник изображения: Oberon Copeland @veryinformed.com/unsplash.com

Источник изображения: Oberon Copeland @veryinformed.com/unsplash.com

Уэйлс заявил на саммите Reuters Next в Нью-Йорке, что использование технологическими компаниями контента «Википедии» для обучения больших языковых моделей приводит к резкому росту расходов, которые ложатся на некоммерческого оператора сайта. «ИИ-боты, сканирующие «Википедию», обрабатывают весь сайт. Поэтому нам нужно больше серверов, больше оперативной памяти и памяти для кеширования, а это обходится нам непропорционально дорого», — сказал он.

Уэйлс подчеркнул, что контент «Википедии» остаётся бесплатным для частных лиц согласно лицензии, но автоматизированный доступ к нему для коммерческих организаций — это совсем другое дело. Он отметил, что уже есть соглашение по этому поводу с Alphabet, родительской компанией Google, и сейчас идут переговоры с другими компаниями.

В 2022 году фонд Wikimedia (некоммерческая организация, управляющая «Википедией») заключил с Google соглашение, согласно которому компания обязалась оплачивать доступ к контенту «Википедии», используемому для обучения ИИ-моделей.

Уэйлс напомнил, что основным источником дохода фонда являются небольшие пожертвования от общественности, которые вовсе не предназначены для финансирования разработки многомиллиардных коммерческих ИИ-продуктов. «Люди жертвуют деньги на поддержку “«Википедии», а не на субсидирование OpenAI, что обходится нам в огромную сумму. Это несправедливо», — заявил он.

Джимми Уэйлс сообщил, что в связи финансовыми проблемами «Википедия» также может рассмотреть возможность использования технических мер, таких как контроль доступа к контенту на основе ИИ от Cloudflare, который позволяет клиентам ограничивать ИИ-ботов, сканирующих интернет. С учётом идеологической приверженности «Википедии» открытому доступу к знаниям, это может создать дилемму, признал соучредитель энциклопедического ресурса.

Ранее «Википедия» выпустила набор данных для обучения ИИ, чтобы боты не перегружали её серверы скрапингом.

Прокуратура США усомнилась в праве «Википедии» на налоговые льготы из-за иностранного вмешательства

Временный прокурор округа Колумбия Эд Мартин (Ed Martin) обвинил «Википедию» в нарушении законодательства США и пригрозил пересмотром её статуса некоммерческой организации. Скандал разгорелся вокруг обвинений в искажении исторических фактов и вмешательстве иностранных агентов.

 Источник изображений: The Wikimedia Foundation

Источник изображений: The Wikimedia Foundation

Стало известно, что исполняющий обязанности федерального прокурора округа Колумбия Эд Мартин (Ed Martin) направил официальное письмо в «Фонд Викимедиа» (Wikimedia Foundation), управляющий «Википедией». Письмо, копия которого оказалась в распоряжении издания The Free Press, ставит под сомнение соблюдение Фондом критериев для сохранения статуса некоммерческой организации в соответствии с разделом 501(c)(3) Налогового кодекса США. Мартин утверждает, что «Википедия» якобы позволяет иностранным агентам целенаправленно редактировать страницы, искажая исторические факты и распространяя пропаганду, что, по его мнению, создаёт угрозу национальной безопасности США.

Американское законодательство требует, чтобы организации, освобождённые от уплаты налогов, действовали исключительно в религиозных, благотворительных, научных или образовательных целях, а также в целях общественной безопасности. В письме Мартин подчёркивает, что деятельность «Википедии», связанная с манипуляцией историческими фактами и распространением дезинформации, может нарушать эти обязательства, что ставит под сомнение её право на налоговые привилегии.

В последние недели Эд Мартин направил обвинительные письма в несколько известных научных журналов: New England Journal of Medicine, CHEST Journal и Obstetrics and Gynecology. В этих письмах он утверждает, что редакции этих изданий проявляют политическую предвзятость в научных дискуссиях. Мартин уже давно известен своей практикой подачи плохо обоснованных юридических претензий против СМИ, часто сопровождаемых спорными и трудно доказываемыми обвинениями.

 Источник изображений: The Wikimedia Foundation

В своём письме к «Фонду Викимедиа» Мартин требует разъяснений по нескольким пунктам: какие меры организация принимает для защиты общественности от пропаганды, какие шаги предпринимаются для исключения целенаправленных правок информации иностранными агентами, а также каким образом предотвращается искажение или переписывание исторических фактов. Ответ на это официальное обращение должен поступить в прокуратуру округа Колумбия не позднее 15 мая.

В ответ на обвинения заместитель главного юрисконсульта «Фонда Викимедиа» Джейкоб Роджерс (Jacob Rogers) сообщил, что содержание «Википедии» регулируется тремя основными принципами: нейтральности изложения, обязательной проверяемости фактов и строгого запрета на размещение оригинальных исследований. Роджерс подчеркнул, что процесс создания и редактирования материалов осуществляется почти 260 тысячами добровольцев по всему миру. Также он подчеркнул, что Фонд приветствует возможность объяснить общественности, как работает Википедия, и готов сделать это в надлежащем правовом формате.

Давление на «Википедию» со стороны правых сил усиливается. В 2024 году Илон Маск (Elon Musk) публично призвал своих сторонников прекратить пожертвования в адрес «Вокепедии» — так он саркастически назвал Википедию, намекая на её предполагаемую политическую ангажированность. Позже он охарактеризовал сайт как «продолжение пропаганды традиционных СМИ». В январе 2025 года издание Forward.com сообщило, что Фонд Наследия (The Heritage Foundation) подготовил презентацию, ориентированную на целенаправленное воздействие на редакторов «Википедии» и подрыв их редакционной независимости.

«Фонд Викимедиа» с тех пор разработал инструменты для защиты анонимности своих редакторов. Генеральный директор Фонда Мариана Искандер (Maryana Iskander) в марте этого года заявила, что организация фиксирует рост угроз со стороны государств и частных структур по всему миру. Об этом она сообщила в интервью для 404 Media, подчеркнув увеличение числа попыток регулирования деятельности платформы, а также угроз судебными исками против редакторов и администраторов «Википедии».


window-new
Soft
Hard
Тренды 🔥
Новая статья: ОСновной расклад: гид по российским Linux-дистрибутивам 5 ч.
OpenAI прокачала память ChatGPT — вскоре бот сможет помнить разное и для бесплатных пользователей 6 ч.
Отправление задерживается: безумный платформер про неподвластный гравитации поезд Denshattack! не выйдет 17 июня 10 ч.
AMD не планирует наделять поддержкой FSR 4.1 встроенную графику RDNA 3.5 11 ч.
Apple App Store обеспечил разработчикам приложений $1,4 трлн продаж — втрое больше, чем в 2019 году 13 ч.
«Всё, о чём я мечтал, и даже больше»: 10 минут геймплея Ace Combat 8: Wings of Theve привели фанатов в восторг 13 ч.
God of War Laufey не придётся ждать годами 13 ч.
Instagram оповестил пользователей, которых взломали с помощью ИИ-бота Meta 15 ч.
Авторитетный инсайдер считает, что большая июньская презентация Nintendo Direct пройдёт на следующей неделе 16 ч.
Глава Take-Two Interactive Штраус Зельник стал рестлером — руководителя добавили в WWE 2K26 17 ч.
Сбербанк представил универсальный оптический вычислитель для ИИ-задач 5 ч.
Новая статья: Обзор Infinix SMART 20: каким может быть бюджетный смартфон в эпоху оперативного кризиса? 6 ч.
HP и Ferrari выпустили ярко красный ноутбук HP Limited Edition Scuderia Ferrari AI PC за $5599 8 ч.
Waymo даст вторую жизнь аккумуляторам роботакси — их превратят в накопители энергии 8 ч.
Cooler Master представила процессорный кулер V8 Ace 3DHP с «экстремальной» эффективностью теплоотвода 11 ч.
Представлен доступный смартфон Huawei nova Y74 — камера 50 Мп и батарея на 6620 мА·ч 11 ч.
PowerColor показала видеокарты Radeon RX 9000, которые святятся под ультрафиолетом 12 ч.
3,84 Тбайт в формате M.2 — Swissbit представила SSD серии N7000 12 ч.
Silicon Motion нарастила продажи SSD-контроллеров на фоне дефицита NAND — нехватка памяти усугубится в 2027 году 12 ч.
7 из 10 американцев не хотят видеть дата-центры рядом с домом — ещё девять месяцев назад таких было лишь 42 % 13 ч.