Перейти к основному содержимому

WARC-файл: от сырого архива до публикации

Коротко: WARC — это сырой контейнер с HTTP-ответами. Чтобы им могли пользоваться люди и исследователи, нужно: проверить целостность → построить индекс (CDXJ) → при необходимости собрать каталог метаданных → упаковать в WACZ → открыть в плеере.

Wget, Browsertrix, wpull, Heritrix и почти любой краулер сохраняют результат в формате WARC. Но сам по себе WARC-файл — это просто последовательность HTTP-записей. Чтобы превратить его в полезный архив, нужно пройти несколько этапов обработки. Этот гайд описывает полный путь.

Команды гайда проверены в октябре 2026 года на warcio 1.8.1, warctools 5.0.1, cdxj-indexer 1.5.0, wacz 0.6.0, pywb 2.10.0 и metawarc 2.0.3.

Полный pipeline​

1. Скачивание​

Если вы ещё не скачали сайт, начните с одного из гайдов:

Browsertrix Crawler сразу собирает WACZ. Результат пишется в каталог /crawls внутри контейнера, поэтому монтировать нужно именно его:

docker run -v "$PWD/crawls:/crawls/" -it webrecorder/browsertrix-crawler crawl \
--url https://example.com/ --robots --generateWACZ --text --collection example
# готовый файл: crawls/collections/example/example.wacz

Без --robots Browsertrix Crawler не читает robots.txt (подробнее).

Совет

При сохранении через Browsertrix сразу получается WACZ. С wget и wpull получается WARC — его упаковывают в WACZ командой wacz create (шаг 5).

2. Проверка​

Перед публикацией стоит убедиться, что WARC-файл не повреждён и соответствует стандарту.

warcio check — дайджесты записей​

pip install warcio
warcio check -v my-archive.warc.gz

Проверяет, что записи читаются и что WARC-Block-Digest/WARC-Payload-Digest совпадают с содержимым. Код возврата не равен нулю, если есть ошибки.

warcvalid — из пакета warctools​

pip install warctools
warcvalid my-archive.warc.gz

Отдельного пакета warcvalid на PyPI нет — утилита входит в warctools.

warc validate и jwarc validate​

Более строгую проверку на соответствие стандарту делают:

  • warchaeology — warc validate my-archive.warc.gz (Go-бинарник из релизов);
  • jwarc — java -jar jwarc.jar validate my-archive.warc.gz (Java).

Контрольные суммы​

Для долгосрочного хранения фиксируйте SHA-256 WARC-файла:

sha256sum my-archive.warc.gz > my-archive.warc.gz.sha256

Храните файл .sha256 вместе с архивом — так можно обнаружить повреждение при копировании.

3. Индексация (CDXJ)​

Сырой WARC — это «лента» HTTP-записей. Чтобы быстро находить снимки по URL и дате, нужен индекс в формате CDXJ: строки вида SURT TIMESTAMP {json} со ссылкой на смещение записи в WARC. Это индекс по адресам, а не по словам: для поиска по тексту страниц нужен полнотекстовый движок (см. раздел «Публикация»).

pip install cdxj-indexer
cdxj-indexer --sort my-archive.warc.gz > my-archive.cdxj

Пример строки:

com,example)/about 20260601120005 {"url": "https://example.com/about", "mime": "text/html", "status": "200", "digest": "sha1:O6PWCPWYRWRLFS3O6BAHQ3FGDLPKDOFV", "length": "424", "offset": "676", "filename": "my-archive.warc.gz"}

Отдельно строить CDXJ нужно, если вы публикуете архив через pywb с собственной структурой каталогов. wacz create и wb-manager add строят индекс сами. Подробнее о формате — CDX/CDXJ.

4. Каталог метаданных (metawarc)​

Чтобы понять, что лежит в коллекции (какие типы файлов, сколько ссылок, есть ли дубликаты), удобно построить каталог. В Ruarxive для этого есть metawarc: он индексирует WARC в базу DuckDB и не меняет сами WARC-файлы.

pip install metawarc

# Каталог записей
metawarc index 'archives/**/*.warc*' --dbfile collection.db

# Статистика по MIME-типам
metawarc stats --dbfile collection.db --mode mimes

# Извлечь ссылки и построить отчёт по ссылочному графу
metawarc index-content --dbfile collection.db --type links
metawarc analyze links --dbfile collection.db --output links.csv --output-format csv

# Экспорт CDXJ-индекса из каталога
metawarc export-cdxj --dbfile collection.db -o collection.cdxj

Полный список команд — в README metawarc.

5. Упаковка в WACZ​

WACZ — ZIP-пакет с заданной структурой:

  • archive/ — один или несколько WARC-файлов;
  • indexes/ — индекс CDXJ (index.cdx.gz) и вспомогательный index.idx;
  • pages/pages.jsonl — список страниц;
  • datapackage.json — описание пакета и SHA-256 каждого файла;
  • datapackage-digest.json — хеш самого datapackage.json.

WACZ — основной формат для ReplayWeb.page.

Создание WACZ с помощью wacz​

Собирать WACZ вручную через zip не нужно: спецификация требует, в частности, хранить WARC и индексы без сжатия ZIP, плюс нужны правильные хеши и список страниц. Утилита py-wacz делает всё сама:

pip install wacz

wacz create -o my-archive.wacz \
--detect-pages \
--title "Архив сайта example.com" \
--desc "Архив сделан перед запланированным отключением сайта" \
my-archive.warc.gz

# Проверка результата
wacz validate -f my-archive.wacz

На вход wacz create принимает WARC-файлы (не каталоги и не .cdxj). Полезные флаги: --detect-pages — найти страницы автоматически, -p pages.jsonl — свой список страниц, --text (вместе с --detect-pages) — извлечь текст для полнотекстового поиска в ReplayWeb.page.

6. Публикация​

WACZ — самодостаточный пакет. Его можно открыть в плеере или выложить в интернет.

Локальный просмотр (без сервера)​

Самый простой способ — открыть WACZ в ReplayWeb.page: Choose File… → Load.

Собственный сервер на pywb​

pywb — серверный плеер, который хостит коллекции и даёт к ним доступ по постоянным URL.

pip install pywb

# Создать коллекцию
wb-manager init my-archive

# Добавить WACZ (распаковывает WARC и индексы в коллекцию)
wb-manager add --unpack-wacz my-archive /path/to/my-archive.wacz
# или добавить WARC напрямую
wb-manager add my-archive /path/to/my-archive.warc.gz

# Запуск (по умолчанию порт 8080)
wayback

После запуска архив доступен по адресу http://localhost:8080/my-archive/2026/https://example.com/.

Хостинг статического WACZ​

Если у вас есть статическое хранилище (S3-совместимое объектное хранилище, CDN), WACZ можно хостить как обычный файл и открывать в ReplayWeb.page по URL. Это дешевле, чем держать pywb, но нет CDX API и Memento.

Минимальный сценарий​

  1. Загрузите WACZ в объектное хранилище (S3, R2, Selectel Cloud Storage и т. п.).
  2. Сделайте файл публично доступным и включите CORS (см. ниже).
  3. Поделитесь ссылкой:
https://replayweb.page/?source=https://archive.example.org/data/my-archive.wacz

ReplayWeb.page не скачивает WACZ целиком, а запрашивает нужные части файла HTTP Range-запросами — поэтому сервер должен их поддерживать (объектные хранилища поддерживают).

Настройка CORS для S3 / R2​

Браузер делает кросс-доменный запрос к хранилищу, поэтому нужны CORS-заголовки. Для AWS S3:

[
{
"AllowedHeaders": ["*"],
"AllowedMethods": ["GET", "HEAD"],
"AllowedOrigins": ["https://replayweb.page"],
"ExposeHeaders": ["Content-Range", "Content-Length"],
"MaxAgeSeconds": 3000
}
]

Для Cloudflare R2 в настройках бакета → CORS Policy:

[
{
"AllowedOrigins": ["https://replayweb.page"],
"AllowedMethods": ["GET", "HEAD"],
"AllowedHeaders": ["Range"],
"ExposeHeaders": ["Content-Range", "Content-Length"]
}
]

Если плеер встроен на ваш собственный сайт (<replay-web-page>), в AllowedOrigins укажите домен этого сайта. Подробнее — CORS Settings в документации ReplayWeb.page.

CDN​

Перед хранилищем можно поставить CDN, чтобы ускорить раздачу большого WACZ. Проверьте, что CDN пропускает заголовок Range (ответы 206 Partial Content) и CORS-заголовки.

Ограничения хостингов​

  • В S3-совместимых хранилищах размер одного объекта обычно ограничен примерно 5 ТБ — уточняйте в документации провайдера.
  • GitHub Pages и обычные репозитории GitHub не подходят для больших файлов: файлы больше 100 МБ GitHub не принимает.
  • Цены на хранение и трафик меняются — сверяйтесь с тарифами провайдеров.

Если архив слишком большой для одного файла​

Не режьте WACZ командой split: WACZ — это ZIP-архив, и его куски не открываются. Разделите исходный WARC по границам записей (скрипт — в статье Работа с большими WARC-файлами) и упакуйте каждую часть в отдельный WACZ через wacz create. Другой вариант — публиковать WARC через pywb.

Сравнение pywb и статического WACZ​

СценарийСвой pywbСтатический WACZ
ИнфраструктураСервер + администрированиеТолько хранилище, без своего сервера
ПоискПо URL (CDX API)По URL и страницам; полнотекстовый — если в WACZ есть текст
Memento и CDX APIДаНет
Большие архивыРаботает с WARC на сервереНужен WACZ с поддержкой Range-запросов
Логи и аудитПолныеЛоги доступа хранилища или CDN

Для полнотекстового поиска по большой коллекции нужен отдельный движок, например SolrWayback.

Чек-лист готовности к публикации​

Прежде чем отдавать архив пользователям, проверьте:

  • WARC прошёл проверку (warcio check, warcvalid или warc validate)
  • SHA-256 зафиксирован и сохранён отдельно
  • Индекс построен (внутри WACZ или CDXJ для pywb)
  • Метаданные коллекции заполнены (название, описание, дата, источник)
  • WACZ упакован через wacz create и проходит wacz validate
  • Архив проверен в плеере: открыть 5–10 случайных страниц, проверить CSS, JS, изображения
  • WARC-файл и метаданные продублированы в 2+ независимых хранилищах
  • Юридические вопросы проверены: процедура снятия архива по запросу описана в правовом разделе
  • Запись в каталоге Ruarxive создана через запрос на архивацию или обновление таблицы Airtable

Хранение и долгосрочная сохранность​

WARC — международный стандарт (ISO 28500), рассчитанный на долгое хранение. Но за это время:

  • Носители деградируют: делайте 3 копии в разных местах (правило 3-2-1) и периодически сверяйте SHA-256.
  • Программы устаревают: периодически проверяйте, что ваши .warc.gz и .wacz открываются актуальными инструментами.
  • Метаданные теряются: храните datapackage.json и .sha256 вместе с архивом, а не отдельно.
  • Индексы можно перестроить: CDXJ — открытый текстовый формат (SURT TIMESTAMP {json}), и его всегда можно заново построить из WARC. Поэтому главное — сохранить сами WARC-файлы.

Подробнее о принципах цифрового сохранения — в глоссарии и правовом разделе.

Связанные материалы​