Перейти к основному содержимому

Kiwix (warc2zim, zimit, zimwriterfs)

Kiwix — открытая экосистема для офлайн-чтения веб-контента. В её центре формат ZIM: один сжатый файл со встроенным полнотекстовым индексом, который читают приложения Kiwix. Инструменты для архивистов развивает проект openZIM:

  • warc2zim — конвертация WARC в ZIM;
  • zimit — обход сайта браузером (через Browsertrix Crawler) с результатом сразу в ZIM;
  • zimwriterfs — упаковка локальной папки с HTML в ZIM.

Сайт: kiwix.org

Зачем нужен​

WARC — «сырой» архивный формат для долгосрочного хранения: без pywb или ReplayWeb.page обычный пользователь его не откроет. ZIM — формат для читателя:

  • один файл на сайт или коллекцию;
  • полнотекстовый поиск локально в приложении Kiwix;
  • приложения для Windows, macOS, Linux, Android, iOS и сервер kiwix-serve;
  • работа без интернета;
  • готовые ZIM Википедии и других проектов в библиотеке Kiwix.

ZIM удобно распространять на флешках, по локальной сети или торрентами, если у читателей нет стабильного доступа в интернет.

Что входит в экосистему​

ИнструментЧто делаетКогда использовать
zimitОбход сайта через Browsertrix Crawler и конвертация в ZIMНужно получить ZIM с живого сайта
warc2zimWARC → ZIMУ вас уже есть WARC
zimwriterfs (из пакета zim-tools)Папка с HTML → ZIMСтатическая HTML-копия, собственная генерация
kiwix-serve (из пакета kiwix-tools)HTTP-сервер для ZIMРаздача нескольких ZIM в локальной сети
mwofflinerMediaWiki → ZIMВикипедия и другие MediaWiki-сайты

Формат ZIM​

ZIM хранит HTML, CSS, изображения, медиа и метаданные (название, описание, язык, автор, издатель). Внутри есть полнотекстовый индекс Xapian. Спецификация: wiki.openzim.org/wiki/ZIM_file_format.

warc2zim​

warc2zim переносит в ZIM все записи WARC. «Программные» записи (HTML, CSS, JS) он переписывает так, чтобы сайт работал офлайн. С версии 2.0 полученным ZIM больше не нужен service worker и HTTPS: в 1.x это было серьёзным ограничением.

Ограничения (по README):

  • не работают формы и всё, что пишет данные на сервер;
  • из видеоплееров поддерживается только встроенный YouTube; Vimeo, DailyMotion и другие обычно не работают;
  • ресурсы с «динамическими» URL (с размером окна, меткой времени или уникальным ID в адресе) могут не находиться;
  • HTTP-заголовки ответов не сохраняются; из кодов ответа учитываются только 200–203 и редиректы 301, 302, 306, 307; ответы 4xx и 5xx отбрасываются;
  • service workers, web workers, import maps и редиректы через meta http-equiv не поддерживаются.

Главное правило: ZIM не может быть лучше исходного WARC. Если обход был плохим, ZIM тоже будет плохим.

Установка​

python3 -m venv ./env
./env/bin/pip install -U pip
./env/bin/pip install -U warc2zim
./env/bin/warc2zim --help

warc2zim 2.3.1 требует Python 3.14. Если подходящего Python нет, используйте Docker-образ ghcr.io/openzim/warc2zim.

Команды и флаги сверены с README и src/warc2zim/main.py версии 2.3.1, а также с README zimit 3.1.3 (октябрь 2026).

Использование​

WARC-файлы (или каталоги с ними) передаются позиционными аргументами, --output — это каталог, а имя задаётся через --name:

warc2zim ./myarchive.warc.gz \
--output ./output \
--name myarchive \
-u https://example.com/ \
--title "Архив example.com" \
--description "Копия сайта example.com" \
--lang rus \
--creator "example.com" \
--publisher "Ruarxive"

Основные флаги:

ФлагЧто делает
--nameИдентификатор ZIM (обязательно)
--outputКаталог для результата
--zim-fileИмя ZIM-файла, если нужно задать его явно
-u, --urlГлавная страница ZIM
-i, --include-domainsВключать только эти домены (и их поддомены); можно повторять
--title, --description, --long-descriptionНазвание и описания
--langЯзык (код ISO-639-3, например rus)
--creator, --publisher, --source, --tagsМетаданные
-f, --faviconURL иконки главной страницы
--custom-cssCSS, добавляемый в каждую HTML-страницу (например, чтобы скрыть неработающий офлайн поиск)
--overwriteПерезаписать существующий файл

Фильтр по доменам:

warc2zim myarchive.warc.gz --name myarchive \
-i example.com \
-u https://sub.example.com/start.html

Через Docker:

docker run --rm -v "$PWD":/data ghcr.io/openzim/warc2zim \
warc2zim /data/archive.warc.gz --output /data --name archive -u https://example.com/

zimit​

zimit — Python-проект, который работает в Docker-контейнере. Он запускает обход сайта Browsertrix Crawler (получаются WARC), а затем конвертирует их warc2zim в один ZIM. Официальный образ — ghcr.io/openzim/zimit (последний релиз — 3.1.3, июль 2026).

docker run ghcr.io/openzim/zimit zimit --help

docker run -v "$PWD/output":/output ghcr.io/openzim/zimit \
zimit --seeds https://example.com/ --name example

Основные параметры zimit (кроме них принимаются флаги Browsertrix Crawler и warc2zim):

ФлагЧто делает
--seedsСтартовые URL через запятую; первый станет главной страницей ZIM (обязательно)
--nameИмя ZIM (обязательно)
--outputКаталог результата (по умолчанию /output)
--scopeTypeОбласть обхода: page, page-spa, prefix, host, domain, any, custom
--scopeIncludeRx, --scopeExcludeRxРегулярные выражения для включения и исключения URL
--depthГлубина обхода (по умолчанию -1, без ограничения)
--pageLimitМаксимум страниц
--workersЧисло параллельных воркеров
--waitUntilКогда считать страницу загруженной (по умолчанию load; для статики — domcontentloaded)
--behaviorsПоведения на странице (по умолчанию autoplay,autofetch,autoscroll,siteSpecific)
--timeSoftLimit, --timeHardLimitОграничение времени обхода в секундах (мягкое — ZIM всё равно будет создан)
--sizeSoftLimit, --sizeHardLimitОграничение объёма
--zim-langЯзык в метаданных ZIM (ISO-639-3)
--langЯзык браузера при обходе (ISO-639-1)
--keepСохранить WARC и временные файлы и при успешном завершении
--generateWACZСоздать также WACZ
--warcsПропустить обход и конвертировать готовые WARC (пути или URL через запятую, допускается tar)

Пример с ограничением области и сохранением WARC:

docker run -v "$PWD/output":/output ghcr.io/openzim/zimit zimit \
--seeds https://news.example.com/2025/ \
--name news-2025 \
--title "Новости 2025" \
--scopeType prefix \
--scopeExcludeRx '\.(mp4|zip)$' \
--workers 2 \
--timeSoftLimit 3600 \
--zim-lang rus \
--keep

Образ по умолчанию блокирует рекламу по спискам anudeepND. Если фильтрация не нужна, запустите контейнер с --entrypoint="".

zimwriterfs: папка с HTML → ZIM​

zimwriterfs входит в zim-tools (Docker-образ ghcr.io/openzim/zim-tools). Обязательные параметры: главная страница, иконка 48×48 PNG, язык, имя, название, описание, автор и издатель.

# скачать статическую копию
wget --mirror --convert-links --adjust-extension --page-requisites \
--no-parent -P ./site https://example.com/

# упаковать в ZIM
zimwriterfs \
--welcome=example.com/index.html \
--illustration=favicon48.png \
--language=rus \
--name=example-site \
--title="Копия example.com" \
--description="Офлайн-копия" \
--creator="example.com" \
--publisher="Ruarxive" \
./site example.zim

Пути --welcome и --illustration указываются относительно папки с HTML.

kiwix-serve: раздача ZIM по HTTP​

# один или несколько файлов
kiwix-serve --port=8080 archive1.zim archive2.zim

# через Docker (официальный образ)
docker run -v "$PWD/zims":/data -p 8080:8080 ghcr.io/kiwix/kiwix-serve '*.zim'

Для большой коллекции удобнее библиотека: kiwix-manage library.xml add archive.zim, затем kiwix-serve --library library.xml. Документация: kiwix-tools.readthedocs.io.

mwoffliner: MediaWiki → ZIM​

Для Википедии и других MediaWiki-сайтов эффективнее mwoffliner: он работает через API MediaWiki, а не через обход HTML.

docker run -v "$PWD/output":/output ghcr.io/openzim/mwoffliner \
mwoffliner --mwUrl=https://bm.wikipedia.org [email protected] \
--outputDirectory=/output

Приложения для чтения​

Kiwix есть для Windows, macOS, Linux, Android и iOS, а также как расширение браузера: список на странице приложений Kiwix. Android-версия — Google Play.

Сравнение с другими инструментами​

ИнструментФорматJavaScript при сбореОфлайн-чтение без сервераПолнотекстовый поиск
zimit / warc2zimZIM✅ (zimit через Browsertrix)✅ приложения Kiwix✅
pywbWARC + сервер—❌❌
ReplayWeb.pageWARC/WACZ в браузере—✅⚠️ по страницам WACZ
BrowsertrixWACZ✅через ReplayWeb.page⚠️
HTTrackHTML-папка❌✅❌

Когда Kiwix лучше всех​

  • нужно отдать архив обычным пользователям, без знания WARC;
  • офлайн-доступ: школы, экспедиции, места без связи;
  • Википедия или другой MediaWiki-сайт (через mwoffliner).

Когда лучше pywb​

  • нужен серверный доступ по URL с навигацией по датам, как на web.archive.org;
  • коллекция пополняется новыми сборами.

Рекомендации​

  1. Храните WARC вместе с ZIM. ZIM — формат для чтения, WARC — для архивного хранения: ZIM не содержит HTTP-заголовков и части записей. В zimit используйте --keep.
  2. Заполняйте метаданные: --title, --description, --zim-lang/--lang, --creator, --publisher. Без них ZIM трудно каталогизировать.
  3. Для современных сайтов используйте zimit: сайт, собранный wget --mirror без выполнения JavaScript, не станет лучше после warc2zim.
  4. Не сжимайте ZIM повторно. ZIM уже сжат внутри. Внешнее сжатие (xz, zstd) почти ничего не даёт, а файл перестаёт открываться в Kiwix без распаковки.
  5. Сохраняйте контрольные суммы: sha256sum archive.zim > archive.zim.sha256.
  6. Большие ZIM раздавайте через kiwix-serve, а не копируйте на каждое устройство.

Ограничения​

  • ZIM — открытый формат проекта openZIM, но не международный стандарт, в отличие от WARC (ISO 28500).
  • При конвертации теряется часть информации WARC: HTTP-заголовки, ответы с ошибками, дубли URL.
  • Обновление — пересоздание ZIM целиком.
  • Динамические сайты воспроизводятся с ограничениями (см. список выше).

Юридические аспекты​

предупреждение

ZIM-файлы содержат копию чужого контента. Публичная доступность сайта не равна разрешению на распространение его копии. Перед публикацией ZIM проверьте лицензию контента и правовые вопросы, укажите источник в метаданных (--source, --creator).

Контент под свободными лицензиями (Creative Commons и т. п.) можно распространять на условиях этих лицензий.

Ресурсы​

Связанные материалы​