Перейти к основному содержимому

Во что превращать WARC

WARC хранит обмен с сервером. Читать его как сайт или как офлайн-книгу умеют другие форматы. Ниже — переходы, которые в этой базе описаны рабочими командами. Исходный WARC после конвертации не удаляют: производный файл можно собрать заново, а потерянный обмен — нет.

WACZ — тот же архив для плеера​

WACZ не заменяет записи другим форматом. Это ZIP с теми же WARC, индексом и описанием коллекции. Его открывает ReplayWeb.page и можно положить на статический хостинг. Команды и ограничения — в гайде «WARC: от архива до публикации» и в справочнике WACZ.

ZIM — офлайн-чтение в Kiwix​

warc2zim переносит записи WARC в ZIM. С версии 2.0 полученный файл открывается в Kiwix без service worker. Команды и версия 2.3.1 сверены на странице инструмента; здесь только развилка:

  • WARC уже есть — warc2zim;
  • сайта ещё нет и нужен сразу ZIM — zimit (обход через Browsertrix и затем warc2zim).

Сайт, снятый без JavaScript, после конвертации не станет интерактивнее.

Статические HTML​

warc2html — утилита Национальной библиотеки Австралии. Она раскладывает WARC в файлы и переписывает ссылки на относительные пути. Результат можно открыть с диска или с обычного веб-сервера. Формы, поиск по сайту и адреса, которых в архиве не было, работать не будут: это предел любого статического экспорта.

Отдельные файлы, не новый контейнер​

PDF, изображения и другие тела ответов выгружаются как обычные файлы. Рецепт — «Медиа из WARC». Текст статей — извлечение текста. Это уже не веб-архив: ссылки между страницами нужно хранить отдельной таблицей.

IIIF и другие специальные форматы​

IIIF описывает отдачу изображений (обычно JPEG 2000 и пирамиды тайлов), а не упаковку HTTP-сессии. Готового перевода «WARC целиком → IIIF» в инструментах этой базы нет. Если в WARC лежат сканы, их сначала вытаскивают как файлы, проверяют как JP2 и уже затем описывают манифестом IIIF.

Почта в MBOX и базы в SIARD тоже не получаются из WARC одной командой. Их архивируют отдельно, если исходный ресурс — ящик или СУБД, а не сайт.

Как выбрать​

ЗадачаФормат
Открыть сайт в браузере локально или по ссылкеWACZ и ReplayWeb.page
Раздать копию без сервера плеера, в том числе офлайнZIM и Kiwix
Положить страницы на обычный хостинг файловwarc2html
Разобрать документы и картинкивыгрузка файлов, WARC сохранить
Долгое хранение обмена с серверомисходный WARC (и пакет BagIt, если так устроено хранилище)

Связанные материалы​