Программы и утилиты
Сторонние инструменты с открытым кодом для веб-архивации: кроулеры разных типов, утилиты моментального сохранения, библиотеки обработки WARC/WACZ, прокси для записи трафика, поисковые системы по архивам и форматы для офлайн-чтения. Этот раздел дополняет инструменты Ruarxive: здесь собраны решения, которые мы используем вместе с нашими собственными.
Статусы проектов (активен, не развивается, в архиве) проверены в октябре 2026 года.
Как выбрать инструмент
Ответьте на три вопроса, чтобы быстро подобрать подходящий инструмент.
1. Что вы хотите сохранить?
| Сценарий | Рекомендуемый инструмент | Почему |
|---|---|---|
| Один URL за минуту (статья, пост) | Save Page Now | Снимок в Wayback Machine, не требует установки. Archive.ph — только как дополнительная копия: в 2026 году оператор менял снимки |
| Одна страница со всеми ресурсами в одном HTML | SingleFile или monolith | SingleFile — в браузере, monolith — из командной строки |
| Одна страница без браузера | monolith или Obelisk | Один бинарник на Rust или Go, без JavaScript |
| Сайт целиком (статика, без JS) | Wget, grab-site или HTTrack | Wget — проще всего и пишет WARC, grab-site — для больших обходов |
| Современный сайт с JavaScript / SPA | Browsertrix или zimit (Kiwix) | Browsertrix для WACZ, zimit сразу в ZIM |
| Видео с YouTube, VK Видео, Vimeo, Twitch | yt-dlp | Более 1700 сайтов, субтитры, метаданные |
| Изображения и галереи | gallery-dl | Много платформ, метаданные, фильтрация |
| Очередь отдельных URL для браузерной архивации | Browsertrix (список seed-URL) | Warcworker решал эту задачу, но проект в архиве |
| Распределённый обход на нескольких машинах | Brozzler | Браузерные воркеры, состояние обхода в RethinkDB |
| Архивное качество WARC для долгосрочного хранения, широкий обход | Heritrix | Кроулер Internet Archive, тонкая настройка |
| Личная коллекция страниц с аннотациями | WebScrapBook или wallabag | WebScrapBook — для структуры, wallabag — для чтения |
| Личный архив из закладок и списков URL | ArchiveBox | Пополняемый архив с веб-интерфейсом |
| Библиотека с процессом «разрешение → сбор → проверка → передача в хранилище» | Web Curator Tool | Готовая система для селективной архивации |
| Telegram-каналы и чаты | tdl | Быстрый загрузчик на Go, экспорт в JSON |
| Ручной просмотр с записью всего трафика | Warcprox или ArchiveWeb.page | Прокси пишет WARC в реальном времени |
| Скрипт или API-выгрузка | curl | Базовый HTTP-кли ент для скриптов |
| Сохранить страницу в Wayback Machine | SavePageNow / Wayback API, waybackpy | Снимок делает сам Internet Archive |
| Выложить свои WARC/WACZ на archive.org (как item, не в Wayback) | Internet Archive CLI | Официальный инструмент загрузки в items |
| Вики на MediaWiki | WikiTeam (wikiteam3) | XML-дамп с историей правок и изображениями |
2. Нужна поддержка JavaScript?
| Возможность | Инструменты |
|---|---|
| ✅ Полная поддержка JS через реальный браузер | Browsertrix, Brozzler, zimit (Kiwix), SingleFile; устаревшие Squidwarc и Warcworker |
| ⚠️ Записывает то, что загрузил браузер пользователя | Warcprox (прокси) |
| ❌ Не поддерживает JS | Heritrix, Wget, Wpull, grab-site, HTTrack, monolith, Obelisk |
3. Какой результат нужен?
| Формат | Инструменты |
|---|---|
| WARC / WACZ (стандарт архивирования) | Heritrix, Wget, Wpull, grab-site, Browsertrix, Brozzler, Warcprox, ArchiveBox (через wget) |
| ZIM (офлайн-чтение через Kiwix) | warc2zim и zimit |
| HTML-файл со встроенными ресурсами | SingleFile, monolith, Obelisk |
| Зеркало или коллекция на диске (для офлайн-просмотра) | HTTrack, ArchiveBox, WebScrapBook (Folder, HTZ, MAFF) |
| Моментальный веб-снимок с постоянной ссылкой | Wayback Machine (SavePageNow), Perma.cc; Archive.ph — только дополнительно |
| Видеофайл (MP4, MKV, WEBM) | yt-dlp |
| Изображения с метаданными | gallery-dl |
| Очищенный текст статей с тегами | wallabag |
Категории инструментов
🌐 Браузерные кроулеры
Используют реальный Chrome/Chromium — лучший способ сохранить современные сайты с JavaScript, SPA и динамической подгрузкой.
- Browsertrix — Browsertrix Crawler (Docker) и облачный/self-hosted сервис от Webrecorder; WACZ, поведения на странице (
autoscroll,autoplay). - Scoop — одностраничный захват Harvard LIL в WARC или WACZ, со сводкой о происхождении снимка.
- Brozzler — распределённый кроулер Internet Archive; состояние обхода в RethinkDB, запись через warcprox.
- Crocoite — headless Chrome и WARC; репозиторий архивирован в 2021 году.
- Squidwarc — скриптуемый кроулер на Node.js и Chrome; не развивается с 2020 года.
- Warcworker — очередь (RabbitMQ) и веб-интерфейс поверх Squidwarc для отдельных URL; проект в архиве.
🕷 HTTP-кроулеры
Работают на уровне HTTP, не выполняют JavaScript. Подходят для статических сайтов, документации, простых CMS.
- Heritrix — кроулер Internet Archive для широких и тематических обходов, высокое качество WARC.
- Wget — базовый консольный загрузчик, есть почти везде, с версии 1.14 пишет WARC.
- Wpull — Wget-совместимый загрузчик на Python (написан с нуля, не форк), WARC и плагины; последний релиз — 2016 года.
- grab-site — кроулер ArchiveTeam на основе форка Wpull: WARC, дашборд, изменяемые на лету ignore-шаблоны.
- HTTrack — кроссплатформенный кроулер с GUI; сохраняет зеркало на диск, WARC напрямую не создаёт.
🔌 HTTP-утилиты
Базовые инструменты для скриптов и API-выгрузок.
- curl — универсальный HTTP-клиент для скриптов, API и диагностики.
⚡ Моментальное сохранение
Один URL — один файл или одна постоянная ссылка. Минимум настройки.
- SingleFile — расширение браузера и CLI, сохраняет страницу со всеми ресурсами в один HTML.
- Archive.ph — веб-сервис моментальных снимков.
- WebScrapBook — расширение Firefox/Chrome с деревом коллекции и аннотациями; форматы Folder, HTZ, MAFF, Single HTML (без WARC).
- monolith — CLI на Rust, сохраняет страницу в один HTML без выполнения JS.
- Obelisk — Go-библиотека и CLI для сохранения страницы в один HTML.
📚 Архивные системы и личные коллекции
Управляют коллекциями: добавление, индексация, поиск, веб-интерфейс.
- ArchiveBox — self-hosted персональный веб-архив из закладок и списков URL; несколько способов сохранения (wget с WARC, Chrome headless, SingleFile, PDF, скриншот).
- wallabag — self-hosted «прочитать позже»: очищенный текст, теги, аннотации, мобильные приложения, экспорт в EPUB/PDF/JSON.
🔧 WARC-инфраструктура
Работа с WARC: запись через прокси, обработка, проверка, конвертация, поиск.
- Warcprox — MITM-прокси Internet Archive, пишет HTTP/S-трафик в WARC с дедупликацией; используется Brozzler.
- Обработка WARC — библиотеки Python, Java, Node.js, Rust и Go для чтения, записи, фильтрации и валидации.
- Warchaeology — Go-утилита
warcНациональной библиотеки Норвегии:ls,cat,validate,dedup,convert. - WARC-Safe — проверка WARC на вирусы (ClamAV) и NSFW-изображения от Национальной библиотеки Люксембурга.
- Kiwix (warc2zim, zimit) — конвертация WARC в ZIM для офлайн-чтения и обход сайта сразу в ZIM.
- SolrWayback — полнотекстовый поиск, аналитика и воспроизведение WARC на Solr (Королевская библиотека Дании).
- Shine — архивный (2020) прототип исследовательского интерфейса UK Web Archive на Solr; историческая справка.
- WARC-GPT — экспериментальный RAG-инструмент Harvard LIL: вопросы к коллекции WARC на естественном языке.
🏛 Управление архивацией и Internet Archive
Системы с процессами, ролями и интеграцией с архивами.
- Web Curator Tool — система для библиотек: разрешения на сбор, цели и расписание, сбор через Heritrix, проверка качества, передача в цифровое хранилище.
- WAIL — настольная оболочка вокруг Heritrix и OpenWayback; для новых коллекций не рекомендуется.
- Internet Archive CLI (ia) — официальный инструмент для загрузки, скачивания и управления items на archive.org (не Wayback Machine).
- Wayback Machine API — SavePageNow 2, CDX, Availability, Memento.
- waybackpy — Python-обёртка и CLI для API Wayback Machine.
- PastPage — расширение браузера для поиска исчезнувших страниц сразу в нескольких веб-архивах.
💬 Специализированные загрузчики
Инструменты для конкретных платформ.
- tdl — загрузчик файлов и экспорт сообщений Telegram на Go.
- yt-dlp — видео, аудио, субтитры и метаданные с более чем 1700 сайтов.
- GUI-оболочки для yt-dlp — Open Video Downloader и другие программы для тех, кто не работает в командной строке.
- gallery-dl — загрузчик изображений и коллекций с многих платформ.
- WikiTeam — архивация вики на MediaWiki (wikiteam3).
Сводная таблица
| Инструмент | JS | WARC | Распределённость | Веб-интерфейс | Статус |
|---|---|---|---|---|---|
| Browsertrix | ✅ | ✅ WACZ | ⚠️ в облачной версии (Kubernetes) | ✅ | Активен |
| Brozzler | ✅ | ✅ (через warcprox) | ✅ RethinkDB | ⚠️ опц. dashboard | Активен |
| Squidwarc | ✅ | ✅ | ❌ | ❌ | Не развивается с 2020 |
| Warcworker | ✅ | ✅ | ⚠️ несколько воркеров | ✅ | В архиве |
| Heritrix | ❌ | ✅ | ⚠️ | ✅ | Активен |
| Wpull | ❌ | ✅ | ❌ | ❌ | Последний релиз 2016 |
| grab-site | ❌ | ✅ | ❌ | ✅ дашборд | Поддерживается (изменения в 2025) |
| Wget | ❌ | ✅ (1.14+) | ❌ | ❌ | Активен |
| HTTrack | ❌ | ⚠️ через конвертацию | ❌ | ✅ GUI | Активен |
| curl | ❌ | ❌ | ❌ | ❌ | Активен |
| SingleFile | ✅ | ❌ (HTML) | ❌ | ❌ | Активен |
| monolith | ❌ | ❌ (HTML) | ❌ | ❌ | Активен |
| Obelisk | ❌ | ❌ (HTML) | ❌ | ❌ | Развивается медленно |
| Archive.ph | ⚠️ | ❌ (снимок) | — | ✅ (внешний сервис) | Работает, но ненадёжен: оператор менял снимки (2026) |
| WebScrapBook | ✅ ( через браузер) | ❌ | ❌ | ✅ (сервер PyWebScrapBook) | Активен |
| ArchiveBox | ✅ | ✅ (через wget) | ❌ | ✅ | Активен |
| wallabag | ❌ | ❌ (текст) | ❌ | ✅ | Активен |
| Warcprox | — (записывает браузер) | ✅ | ⚠️ | ❌ | Активен |
| warc2zim / zimit | ✅ (zimit) | вход WARC, выход ZIM | ❌ | ✅ Kiwix | Активен |
| SolrWayback | — | индекс WARC | ⚠️ Solr Cloud | ✅ | Активен |
| Shine | — | индекс WARC | ❌ | ✅ | В архиве с 2020 |
| Web Curator Tool | ❌ | ✅ (Heritrix) | ⚠️ | ✅ | Активен |
| Internet Archive CLI (ia) | — | загрузка файлов в items | ❌ | ❌ | Активен |
| tdl | — | ❌ (Telegram) | ❌ | ❌ | Активен |
| yt-dlp | — | ❌ (видео) | ❌ | ❌ | Активен |
| gallery-dl | — | ❌ (изображения) | ❌ | ❌ | Активен |
Рекомендованные связки
В реальных проектах мы комбинируем несколько инструментов:
- Быстро сохранить отдельную страницу → SavePageNow или SingleFile; Archive.ph — только как дополнительная копия.
- Серьёзная веб-архивация → Browsertrix + ReplayWeb.page для воспроизведения.
- Библиотечный проект → Web Curator Tool поверх Heritrix, pywb для воспроизведения.
- Сбор и анализ WARC → Wget или grab-site для записи + warcio для анализа в Python + warchaeology для проверки.
- Распределённый обход → Brozzler + Warcprox + RethinkDB на нескольких машинах.
- Офлайн-распространение (школы, экспедиции, отключённый интернет) → warc2zim / zimit (Kiwix).
- Полнотекстовый поиск по своему архиву → SolrWayback.
- Публикация коллекции → своё воспроизведение (pywb, ReplayWeb.page) или выкладка WARC/WACZ как item на archive.org через ia. Учтите, что загруженные файлы не появятся в Wayback Machine как снимки.
- Проверка перед публикацией → warchaeology (валидация) + WARC-Safe (вирусы и NSFW).
- Личный «прочитать позже» → wallabag с мобильными приложениями.
- Видеоархив → yt-dlp + ffmpeg для постобработки.
- Архив изображений → gallery-dl с метаданными в JSON.
- Скриптовая автоматизация → curl для API + Wget для загрузки + Python для оркестрации.
С чего начать
- Новичок, 5 минут → Б ыстрый старт.
- Нужно срочно сохранить контент → Экстренная архивация.
- Полная копия сайта → Wget или Browsertrix.
- Свой Python-скрипт → curl + Обработка WARC.
- Хотите автоматизировать сценарии → Пользовательские workflow.
- Распространить архив → item на archive.org через Internet Archive CLI или ZIM через Kiwix.
- Найти что-то в своём архиве → SolrWayback.
- Найти исчезнувшую страницу в чужих архивах → PastPage, Wayback Machine API.
Связанные материалы
- Инструменты Ruarxive — собственные утилиты команды.
- Ландшафт инструментов 2026 — обзор состояния области.
- Форматы файлов — WARC, WACZ, CDX и другие.
- Воспроизведение архивов — как смотреть заархивированное.
- Социальные сети — специфика платформ.
- Руководства — пошаговые инструкции.