Сегодня 18 декабря 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Программное обеспечение

На всякий случай: как создать локальные копии важных сайтов

За последние несколько дней Рунет кардинально изменился. Некоторые сайты стали недоступны для российских пользователей, некоторые просто закрылись. Что будет происходить дальше, сколько будет стоить доступ в Сеть и будет ли интернет функционировать в привычном виде, мы не знаем. Зато можем посоветовать ряд программ и онлайновых сервисов, позволяющих загрузить содержимое практически любого веб-ресурса к себе на компьютер с целью сохранить доступ к тому или иному представляющему интерес контенту.

 Источник изображения: Mohamed Hassan / pixabay.com

Источник изображения: Mohamed Hassan / pixabay.com

HTTrack Website Copier. Древний (последний релиз состоялся аж в 2017 году), но до сих пор исправно функционирующий инструмент для создания как полных копий выбранных сайтов с сохранением структуры каталогов, так и отдельных веб-страниц. Предусмотрены возможности выбора глубины прохода по сайту, возобновления прерванных закачек, исключения скачивания файлов по типу и ограничения скорости передачи данных. Также программа позволяет корректировать параметр User-Agent и мимикрировать под различные браузеры, что может быть востребовано при работе с веб-площадками, «заточенными» под конкретный интернет-обозреватель. Распространяется HTTrack Website Copier бесплатно, имеются версии для Windows, Linux и Android.

Offline Explorer. Коммерческий продукт с ленточным интерфейсом в стиле Microsoft Office и внушительным набором функций для скачивания сайтов. Благодаря регулярным обновлениям и встроенному браузерному движку на базе Chromium поддерживает все современные веб-стандарты. По заверениям разработчиков, умеет копировать контент из YouTube, а также социальных сетей Twitter, Facebook, Instagram и прочих. Приложение может обрабатывать файлы JavaScript и Java-апплеты, отправлять POST-запросы на сервер, моделировать чтение страниц человеком, фильтровать скачиваемый контент, взаимодействовать с защищёнными паролем интернет-площадками и скачивать данные в соответствии с заданным пользователем расписанием. Offline Explorer является коммерческим продуктом, и из-за приостановки работы платёжных систем MasterCard и Visa в России приобрести его в настоящий момент не представляется возможным. Положение спасает наличие пробной версии программы, в которой установлен лимит на количество загружаемых файлов (максимум 2 тысячи) и заблокированы средства экспорта данных в различные форматы. Поддерживаются только устройства под управлением Windows.

Inspyder Web2Disk. Распространяемый по модели Shareware продукт, которым можно пользоваться бесплатно, мирясь с двумя несущественными ограничениями: отсутствием планировщика задач и возможностью одновременного скачивания только двух сайтов. Программа умеет переходить по ссылкам в файлах JavaScript, XML и PDF, работать с веб-формами, исключать из загрузки определённого формата страницы и объекты, а также взаимодействовать с сайтами с учётом объёма загружаемой информации, глубины прохода и других параметров. Доступна корректировка User-Agent под разные браузеры, в том числе мобильные. Дистрибутив продукта представлен только для операционных систем Windows.

WebCopier. Коммерческая утилита, всеми возможностями которой можно пользоваться в течение 7 дней, коих с головой хватит для переноса на диск ПК любых сайтов. По функциональной начинке представляет собой нечто среднее между упомянутыми выше Offline Explorer и Web2Disk. Можно настраивать фильтры для файловых расширений, регулировать скорость скачивания контента, управлять глубиной обхода ссылок, ограничивать размер загружаемых объектов и конфигурировать прочие параметры. Из особенностей отметим возможность экспорта скопированных данных в форматы ZIP, MHT и CHM, а также наличие дистрибутива не только для Windows, но и для macOS.

Website Ripper Copier. Ещё одна обладающая схожими функциями программа для скачивания сайтов целиком. Стоит денег, но благодаря исключительной щедрости разработчиков 30 дней пользоваться приложением можно бесплатно без каких-либо функциональных ограничений. Удобная особенность Website Ripper Copier — возможность следить за процессом загрузки страниц, при этом выкачка сайта может выполняться в несколько потоков (их количество можно задать в настройках программы). Поддерживаются фильтры, скачивание по расписанию и прочие стандартные функции. Интерфейс продукта немного запутан и требует привыкания. Только для Windows.

Website Copier Online и Website Downloader Online. Онлайновые сервисы для загрузки сайтов на диск компьютера. Первый позволяет бесплатно скачивать 50 страниц первого уровня, второй — контент объёмом до 20 Мбайт. Немного, но для копирования небольших и структурно несложных сайтов — визиток для бизнеса, лендингов, веб-страниц с различного рода инструкциями и документацией — вполне сгодятся. В случае с Website Copier Online для выкачивания контента достаточно только указать URL ресурса, Website Downloader Online более совершенен и позволяет не только скачивать сайты целиком, но и отдельно копировать файлы выбранного типа, будь то документы, изображения, видео- или аудиофайлы.

FireDM. Свободно распространяемая утилита, которая позволяет скачивать видео с популярных медиасервисов и служит отличным дополнением для всех перечисленных в обзоре программных решений. В основу FireDM положены проверенные временем Open Source-компоненты youtube-dl и libcurl. Приложение поддерживает многопоточную обработку файлов, умеет выцеплять аудиодорожки и субтитры из роликов, оснащено модулем автоматического обновления, а также допускает гибкое конфигурирование в соответствии с предпочтениями пользователя. Утилита не требует установки и может использоваться как в Windows, так и в среде Linux. Рекомендуем.

Создание локальных копий важных сайтов не такая простая задача, как кажется на первый взгляд.

Во-первых, следует понимать, что многие современные веб-ресурсы немыслимы без динамического контента и поддержки технологий HTML5. В тех же социальных сетях, к примеру, всё завязано на действия пользователя и подгрузку данных в зависимости от конкретной ситуации. Именно по этой причине многие из упомянутых выше продуктов не могут справиться с копированием контента из Facebook, VK и прочих сервисов. Единственное исключение — Offline Explorer, но он стоит серьёзных денег ($200 в редакции Pro) и приобрести его в нынешних реалиях довольно сложно.

Во-вторых, при копировании сайтов не следует увлекаться возможностями скачивания файлов в несколько потоков. Торопиться в этом деле не нужно, и для предотвращения блокировок со стороны веб-сервера следует филигранно подходить к настройкам количества устанавливаемых соединений при выкачивании данных.

Ну и наконец, в-третьих, при использовании приведённого в публикации программного обеспечения всегда важно чтить копирайт и не забывать об авторских правах на скачиваемый из глобальной сети контент.

 
 
Если Вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.

window-new
Soft
Hard
Тренды 🔥
Половина трафика замедленного YouTube перетекла на отечественные аналоги, заявил глава Минцифры 50 мин.
Судьбу TikTok в США решит Верховный суд за неделю до возможной блокировки 2 ч.
Разработчики Helldivers 2 устроили кроссовер с Killzone 2 и возмутили игроков 2 ч.
Новый геймплейный трейлер Lost Soul Aside подтвердил перенос релиза на 2025 год — в Steam игра потребует привязку аккаунта PSN 5 ч.
Комиссия по азартным играм Великобритании выявила нелегальные казино в Roblox 6 ч.
Люксовые бренды начали принимать оплату криптовалютой после взлёта биткоина 6 ч.
МТС выделит облачные сервисы, ИИ-технологии и большие данные в самостоятельную компанию 8 ч.
Вместе с Apple Intelligence на старые iPhone пришёл перегрев 8 ч.
Участники рынка выступили за доработку законопроекта по регулированию индустрии игр в России, а в Минцифры подготовили альтернативный акт 10 ч.
Американские военные проверят Маска на предмет угроз нацбезопасности 11 ч.
AMD прекратила производство Radeon RX 7900 GRE в преддверии выхода Radeon RX 8000 26 мин.
Китай испытал прямоточный воздушно-реактивный двигатель с детонацией для самолётов вдвое быстрее Ту-144 и «Конкорда» 36 мин.
Китай заявил, что создал квантовый процессор ничуть не хуже нашумевшего Google Willow 2 ч.
Intel раскрыла характеристики мобильных процессоров Core 200H — это не новые чипы 5 ч.
Наш мозг работает медленнее 50-летнего процессора — учёные из Калтеха измерили скорость человеческой мысли 5 ч.
Первая частная японская ракета Kairos впервые достигла космоса и почти сразу самоуничтожилась 5 ч.
США столкнутся с дефицитом электроэнергии из-за ИИ уже в 2025 году, предупредил отраслевой регулятор 6 ч.
США нащупали угрозу нацбезопасности в роутерах TP-Link и собираются их запретить 6 ч.
Слитый постер раскрыл дату презентации Samsung Galaxy S25 7 ч.
МТС соберёт все свои IT-подразделения в самостоятельную компанию 8 ч.