Перейти к основному содержимому

Ландшафтная карта веб-архивации 2026

Состояние области на конец 2026 года. Ниже — попытка дать единую картину: какие инструменты существуют, кто их разрабатывает, что в активной разработке, что уходит в историю. Этот материал помогает выбрать правильный инструмент под конкретную задачу и не тратить время на легаси.

Принцип: один инструмент закрывает одну задачу хорошо. Хороший архивный пайплайн — это композиция из 4–6 инструментов.

Четыре столпа архивации​

Любая архивная система делает четыре вещи:

┌──────────────┐   ┌──────────────┐   ┌──────────────┐   ┌──────────────┐
│   CAPTURE    │ → │   STORAGE    │ → │    ACCESS    │ → │   ANALYSIS   │
│  (сбор)      │   │  (хранение)  │   │  (доступ)    │   │  (анализ)    │
└──────────────┘   └──────────────┘   └──────────────┘   └──────────────┘
       ↓                   ↓                  ↓                  ↓
  Browsertrix          pywb             ReplayWeb         SolrWayback
  wget, Heritrix       S3, R2           Wayback           metawarc
  wparc                Backblaze        Perma.cc          warc-gpt
  yt-dlp               + IA             Memento           DuckDB-warc

Команда Ruarxive использует Ruarxive-стек (отмечен ⭐), остальное — стороннее.

1. CAPTURE — сбор контента​

Браузерные кроулеры (полная поддержка JavaScript)​

ИнструментЯзыкХостингОсобенностиСтатус
⭐ BrowsertrixNode.js + ChromiumDocker / CloudWACZ из коробки, поведения (autoscroll, autoplay)Стабильный
SquidwarcNode.js + CDPnpmТочное управление через DevTools ProtocolСтабильный
BrozzlerPythonDockerРаспределённый через RedisСтабильный
WarcworkerNode.jsDockerSquidwarc + очередь + UIСтабильный
CrocoitePythonpipСкриншоты + DOM + WARCЭкспериментальный
WAILPythonGUIOne-click Heritrix + pywbНишевый

HTTP-кроулеры (без JavaScript)​

ИнструментЯзыкФорматСтатус
WgetCФайлы + WARC (1.14+)Стабильный
⭐ WpullPythonФайлы + WARCСтабильный
HeritrixJavaWARCСтабильный
HTTrackC++ЗеркалоСтабильный
grab-sitePythonWARCСтабильный

Специализированные загрузчики​

ИнструментДля чегоСтатус
yt-dlpВидео (1800+ сайтов)Стабильный
gallery-dlИзображения (200+ платформ)Стабильный
tdlTelegramСтабильный
⭐ tgarcTelegram с метаданнымиСтабильный
⭐ wparcWordPress через REST APIСтабильный
⭐ ydiskarcЯндекс.ДискСтабильный
⭐ filegetterМассовое скачивание файловСтабильный
Auto-Archiver (Bellingcat)Workflow OSINTАктивно развивается
twarcTwitter JSONТолько legacy v2 API
fbarcFacebookОграниченно (API заблокирован)
Social Feed ManagerMultiple platformsНишевый

Моментальное сохранение​

ИнструментДля чегоСтатус
⭐ Archive.phURL → snapshot за 30 сСтабильный
SingleFileСтраница → один HTML (Chrome ext + CLI)Стабильный
WebScrapBookBrowser tree + экспорт WARCСтабильный
monolithCLI one-HTMLСтабильный
ObeliskGo CLI + REST APIСтабильный

2. STORAGE — хранение​

Форматы​

ФорматНазначениеИнструментыСтатус
⭐ WARCСтандарт ISO 28500 / WARC 1.1МногиеСтандарт
⭐ WACZZIP + CDXJ + метаданныеBrowsertrix, ReplayWeb.pageСтандарт 2024+
ARCLegacy предшественник WARCwarctoolsLegacy
⭐ CDX/CDXJИндексpywb, cdxj-indexerСтандарт
ZIMОфлайн-чтение через Kiwixwarc2zim, zimitСтандарт для Kiwix
BagItУпаковка для передачиbagit-pythonСтандарт
⭐ PREMISМетаданные сохранностиmetawarc, mediainfoСтандарт
METSСтруктурные метаданныеGoobi, mets-readerНишевый
IIIFИзображения высокого разрешенияMirador, cantaloupeНишевый
PDF/AДолгосрочное хранение PDFveraPDFСтандарт
SIARDБазы данныхdbptkНишевый
MBOXEmail-архивыThunderbird, archivematicaСтандарт
JP2Изображения высокого разрешенияkakadu, OpenJPEGНишевый

Хранилища​

РешениеКогда использоватьСтоимость
Локальный дискЛичный архив$
AWS S3 StandardГорячий архив (частое чтение)$23/TB/мес
Cloudflare R2Публичный архив (анлим egress)$15/TB/мес
Backblaze B2Бюджетное хранение$6/TB/мес
Selectel / Yandex CloudХранение в РФот 990 ₽/мес/ТБ
Internet ArchiveДополнительная копияБесплатно (для некоммерческих)
⭐ Ruarxive (Backblaze + offline)Главное хранилище RuarxiveГрантовое финансирование

Правило 3-2-1​

Любой важный архив должен иметь:

  • 3 копии (две полные + одна удалённая);
  • 2 разных носителя (диск + облако, или два облака);
  • 1 копия вне офиса (offline-бэкап или удалённый облачный регион).

3. ACCESS — доступ​

Воспроизведение​

ИнструментТипКогдаСтатус
⭐ ReplayWeb.pageКлиентскийРазовое открытиеСтабильный
⭐ pywbСерверныйПубличный архивСтабильный
OpenWaybackСерверный (Java)Существующая JVM-инфраСтабильный
IPWBРаспределённый (IPFS)P2P-доступЭкспериментальный
warc2htmlКонвертерДля публикацийНишевый
⭐ MementoСтандарт RFC 7089Универсальный APIСтандарт
Wayback MachineПубличный сервисГлобальный доступСтабильный

Discovery и поиск​

ИнструментКогдаСтатус
ShineПолнотекстовый поиск, до 100 ГБСтабильный
SolrWaybackПолнотекстовый поиск, от 100 ГБСтабильный
ArchiveSparkSpark-кластерНишевый
WarclightBlacklight-фронтендНишевый

Постоянные ссылки​

СервисКогдаСтатус
Perma.ccНаучное цитированиеСтабильный
Wayback MachineВсе случаиСтабильный
Archive.phМоментальное сохранениеСтабильный

4. ANALYSIS — анализ​

Обработка и обогащение​

ИнструментЧто делаетСтатус
⭐ metawarcDuckDB-индекс + метаданныеСтабильный
⭐ metawarc-mcpMCP-сервер для LLMСтабильный
warc-processingБиблиотеки (warcio, jwarc)Стабильный
WarchaeologyВалидация, дедупликацияСтабильный
WarcbenchИсследование, трансформацияЭкспериментальный
DuckDB-warcSQL к WARCАктивно развивается
duckdb-web-archive-cdxSQL к CDX IA/CCАктивно развивается

Защита и контроль качества​

ИнструментЧто делаетСтатус
WARC-SafeАнтивирус + NSFWСтабильный
warcvalidВалидация WARC 1.1Стабильный

AI и RAG​

ИнструментЧто делаетСтатус
WARC-GPTRAG по коллекцииЭкспериментальный
metawarc-mcpИнтерфейс для LLMЭкспериментальный
WARC-BenchБенчмарк для AI-агентовАктивно развивается
ИнструментЧто делаетСтатус
HypheКорпус-краулер с UIСтабильный
WebGraphГрафовый фреймворкНишевый
GephiВизуализация графовСтабильный

Что уходит в архив (Deprecated / Sunset)​

ИнструментЧто заменилоПримечание
ArchiveTeam WarriorDocker-сетапыСложно поддерживать
WAILHeritrix + pywb напрямуюНет активной разработки
Shockwave FlashHTML5 videoНе нужен с 2020
Wayback Machine (старый)pywbIA перешёл на pywb к 2018
Chromebot (ArchiveTeam)ArchiveBotЗакрыт в 2020
ia wayback (SavePageNow CLI)Direct HTTPПлохо поддерживается

Инициативы и сообщества​

ОрганизацияЧто делает
IIPCСтандарты (WARC, CDX), конференции, обучение
WebrecorderBrowsertrix, ReplayWeb.page, pywb, WACZ-стандарт
Internet ArchiveWayback Machine, RIMA, S3 API
BellingcatOSINT-инструменты, Auto-Archiver
Archive TeamЭкстренные волонтёрские архивы
Harvard Library Innovation LabWARC-GPT, Scoop, Perma.cc
Royal Danish LibrarySolrWayback
Common Crawl FoundationОткрытые веб-краулы
RhizomeConifer, Web-арт сохранение
⭐ RuarxiveРоссийские независимые СМИ + гос. сайты

Что добавили в 2024–2026​

  • WACZ Signing Spec — криптографическая подпись архивов (Scoop, wacz-signer).
  • DuckDB-warc — SQL к WARC (Common Crawl, 2025).
  • duckdb-web-archive-cdx — SQL к CDX IA/CC (2025).
  • WARC-GPT — RAG к WARC-коллекциям (Harvard, 2025).
  • WARC-Safe — антивирусная проверка (UNT, 2025).
  • Auto-Archiver — workflow-оркестратор (Bellingcat, развивается).
  • Warchaeology — набор утилит валидации (IIPC, 2025).

Что ушло в 2024–2026​

  • Conifer хостинг (Rhizome) — закрыт в июне 2026 (legacy-самохостинг сохранён).
  • Wayback Machine свободный доступ — ужесточение rate-limits с 2024.
  • Twitter v1.1 API — окончательно сломан, twarc перешёл на v2.

Как выбрать инструмент​

Для новичка (1–3 сайта)​

Archive.ph → SingleFile → ReplayWeb.page

Для активиста (один сайт, регулярный сбор)​

Browsertrix → S3 → ReplayWeb.page

Для университетской библиотеки​

Web Curator Tool → Heritrix → pywb + SolrWayback → Backblaze B2

Для OSINT-журналиста​

Auto-Archiver + yt-dlp → RIMA → metawarc → warc-gpt

Для национального архива​

Distributed Brozzler + Warcprox → pywb + SolrWayback → S3 Standard + IA

Для Ruarxive​

Wget / wparc / Browsertrix / tgarc → metawarc → S3 + IA + offline

См. также​