Гайды по архивации
Практические пошаговые руководства: от «сохранить одну стр аницу за 30 секунд» до автоматизированных процессов на bash и Python.
Не знаете, с чего начать? Откройте Быстрый старт за 5 минут. Сайт могут закрыть завтра? Откройте Экстренная архивация. Хотите автоматизировать? Смотрите Кастомные workflow.
Какой гайд открыть
| Задача | Гайд | Сколько времени |
|---|---|---|
| Сохранить одну веб-страницу | Быстрый старт за 5 минут | 30 секунд |
| Сайт вот-вот закроют или удалят | Экстренная архивация | 5 минут — 24 часа |
| Подготовиться к сбору сайта | Preflight-чеклист | 30–60 минут |
| Выбрать глубину, охват и темп сбора | Стратегии сбора | 15–30 минут чтения |
| Сохранить сайт в WARC из командной строки | Wget: сайт в WARC | минуты–часы |
| Сохранить сайт на JavaScript (SPA, Ajax) | Архивация динамических сайтов | часы |
| Объединить несколько инструментов в процесс | Кастомные workflow | 1–2 часа |
| Довести WARC-файл до публикации (проверка, индекс, WACZ, плеер) | WARC: от архива до публикации | 30 минут – 2 часа |
| Сохранить раздел, который виден после входа | Вход на сайт | 15–30 минут |
| Прочитать robots.txt до обхода | robots.txt | 10 минут |
| Сайт отвечает капчей или 403 | Антибот-защита | 10 минут |
| Оставить в WARC только нужные записи | Фильтрация WARC | 15–30 минут |
| Достать текст статей | Текст из WARC | 15–30 минут |
Гайды по уровню подготовки
Только начинаете
- Быстрый старт за 5 минут — без установки и командной строки. Подходит для самого первого раза.
Готовитесь к кризису заранее
- Экстренная архивация — приоритеты, чек-листы по минутам, координация, безопасность. Полезно прочитать до того, как что-то случится.
Планируете сбор сайта
- Preflight-чеклист — цели, охват, правовые вопросы, хранилище, тестовый прогон.
- Стратегии сбора — охват, глубина, темп запросов, режимы сбора и условия остановки.
- Вход на сайт — профиль Browsertrix и cookies Wget для страниц, которые ваша учётная запись и так вправе открыть.
- robots.txt — как прочитать файл правил до обхода.
- Антибот-защита — что делать при капче и ответе 403 и чего не делать.
Умеете работать в командной строке
- Wget: сайт в WARC — готовые сценарии сбора сайта с записью WARC и CDX-индекса.
- Архивация динамических сайтов — что делать, когда содержимое подгружается JavaScript.
Автоматизируете процессы
- Кастомные workflow — bash- и Python-скрипты, объединяющие несколько инструментов в один процесс.
- WARC: от архива до публикации — проверка, индексация, обогащение метаданными, упаковка в WACZ и публикация.
- Фильтрация WARC — оставить HTML, ответы 200 или один домен.
- Текст из WARC — основной текст страниц через trafilatura или metawarc.