Как открыть WARC/WACZ файл
WARC и WACZ — стандартные форматы веб-архивов. Их можно открыть несколькими способами без специальных знаний.
Без установки (в браузере)
Самый простой способ — открыть файл в браузерном плеере.
ReplayWeb.page
- Откройте replayweb.page.
- Нажмите Choose File… и выберите файл на компьютере.
- Нажмите Load.
- Откроется интерфейс со списком сохранённых страниц и поиском по URL.
Поддерживаются .wacz, .warc.gz, .warc (а также HAR и CDX/CDXJ). Файл не отправляется на чужой сервер —
обработка полностью локальная. WARC при первом открытии читается целиком, поэтому большие WARC открываются
долго; WACZ открывается быстро. Подробнее — ReplayWeb.page.
Через Internet Archive
Некоторые архивы Ruarxive уже загружены на Internet Archive:
С установкой программы
ReplayWeb.page Desktop
Графическое приложение для Windows, macOS и Linux:
- Скачайте установщик из GitHub Releases (
.exe,.dmgили.AppImage). - Установите и запустите.
- Откройте WARC/WACZ-файл.
- Просматривайте страницы — без интернета.
Прежнее приложение Webrecorder Desktop больше не развивается (его репозиторий заархивирован); используйте ReplayWeb.page Desktop.
warcio (Python)
Для программного просмотра содержимого — библиотека warcio:
pip install warcio
# Список URL всех ответов в архиве
python3 -c "
from warcio.archiveiterator import ArchiveIterator
with open('archive.warc.gz', 'rb') as stream:
for record in ArchiveIterator(stream):
if record.rec_type == 'response':
print(record.rec_headers.get_header('WARC-Target-URI'))
"
# Проверка целостности (дайджесты записей)
warcio check -v archive.warc.gz
Извлечение части архива
# Установить warctools
pip install warctools
# Просмотр записей (заголовки и начало содержимого)
warcdump archive.warc.gz | head -40
# Отобрать записи по регулярному выражению для URL; результат — в stdout
warcfilter -U 'echo\.msk\.ru/programs/' archive.warc.gz > subset.warc
Флаги warcfilter: -U — по URL, -T — по типу записи, -H — по Content-Type HTTP-ответа, -i — инвертировать условие.
Больше приёмов — в статье «Вскрытие» WARC.
Чем отличаются WARC и WACZ?
- WARC — низкоуровневый формат: последовательность записей с сырыми HTTP-ответами и запросами.
Внутри бывают служебные записи
warcinfoиmetadata, но индекса для быстрого поиска нет — его строят отдельно. - WACZ — ZIP-пакет с WARC-файлами, индексами CDXJ, списком страниц и метаданными
datapackage.json. Плеер открывает его быстро, не читая весь архив.
Подробнее:
Что делать, если файл очень большой
Например, WARC-файл сайта «Эха Москвы» занимает 186 234 035 346 байт (около 173 ГиБ). Целиком в память такие файлы не помещаются. Варианты:
- Сначала посмотреть индекс. Для архива «Эха» опубликован CDX-индекс (список URL и их хеши) — по нему можно понять, есть ли нужные страницы, не скачивая архив. См. проект «Эхо Москвы».
- Потоковая обработка через warcio — Python читает архив по одной записи.
- Упаковка в WACZ — тогда ReplayWeb.page не будет читать файл целиком.
Подробнее — Работа с большими WARC-файлами.
Дальше, когда файл уже открыт или когда скачивать его целиком не нужно: