Работа с большими WARC-файлами (10+ ГБ)
Архивы бывают очень большими. Например, WARC-файл сайта «Эха Москвы» в коллекции Ruarxive занимает 186 234 035 346 байт — около 173 ГиБ (проект «Эхо Москвы»). Для таких файлов подходы «прочитать всё в память» и «открыть в браузере» не работают.
Какие проблемы возникают
| Проблема | Когда появляется |
|---|---|
MemoryError | Программа пытается загрузить весь файл или большую запись в память |
| Очень долгий проход | Любой поиск без индекса требует распаковать весь gzip-поток |
| Долгое открытие в ReplayWeb.page | WARC без индекса читается в браузере целиком |
| Нельзя «просто разрезать» | .warc.gz — последовательность gzip-записей; байтовая нарезка ломает их |
Главное правило: один раз пройдите файл и постройте индекс, дальше работайте с индексом.
Стратегия 1: потоковое чтение
Итерация по записям через warcio
from warcio.archiveiterator import ArchiveIterator
with open("huge-archive.warc.gz", "rb") as stream:
for record in ArchiveIterator(stream):
# Обрабатываем одну запись за раз
process(record)
ArchiveIterator читает файл последовательно, по одной записи, и не загружает весь архив в память.