Инструменты архивации
Инструменты для веб-архивации, создания и обработки веб-архивов.
📄️ Archive.ph: полное руководство
Archive.ph (также известный как Archive.today, Archive.is) - это бесплатный сервис для моментального создания постоянных снимков веб-страниц. Один из самых простых и быстрых инструментов для архивации.
📄️ ArchiveBox
ArchiveBox — это инструмент для создания аддитивного архива из RSS-лент, закладок и ссылок, используя wget, Chrome headless и другие методы.
📄️ Browsertricks
Browsertricks — это современный инструмент для веб-архивирования, разработанный командой Webrecorder. Его главная особенность — использование реального браузера (через Browsertricks Crawler) для захвата динамических сайтов, которые сложно архивировать классическими инструментами типа Heritrix или Wget.
📄️ Brozzler
Brozzler — это распределённый веб-кроулер, использующий реальный браузер (Chrome или Chromium) для захвата страниц и встроенных URL.
📄️ grab-site
grab-site — это веб-кроулер, разработанный специально для архивистов, с WARC выводом, дашбордом для всех кроулов и динамическими паттернами игнорирования.
📄️ Heritrix
Heritrix — это открытый, расширяемый, масштабируемый веб-кроулер архивного качества, разработанный Internet Archive.
📄️ HTTrack
HTTrack — это бесплатный и открытый инструмент для копирования веб-сайтов на локальный компьютер.
📄️ SingleFile
SingleFile — это браузерное расширение для Firefox/Chrome и CLI инструмент для сохранения полной копии веб-страницы в один HTML файл.
📄️ Squidwarc
Squidwarc — это открытый, высококачественный, интерактивный архивный кроулер, использующий Chrome или Chrome Headless напрямую.
📄️ tdl (Telegram Downloader)
tdl — это мощный инструмент командной строки и библиотека на языке Go для скачивания и управления данными в Telegram.
📄️ Инструменты обработки WARC
Работа с "сырыми" WARC-файлами часто требует написания скриптов для извлечения данных, фильтрации записей или валидации. Для этого существует несколько мощных библиотек.
📄️ Warcprox
Warcprox — это WARC-writing MITM (Man-In-The-Middle) HTTP/S прокси-сервер для транзакционной архивации.
📄️ Warcworker
Warcworker — это открытый, dockerized, queued, high fidelity веб-архиватор на основе Squidwarc с простым веб-интерфейсом.
📄️ Web Curator Tool
Web Curator Tool — это open-source система управления workflow для селективной веб-архивации.
📄️ Wpull
Wpull — это альтернатива/замена Wget, разработанная Archive Team специально для веб-архивации.