Перейти к основному содержимому

База знаний Ruarxive

Привет! Эта база знаний — путеводитель по цифровой веб-архивации для русскоязычного сообщества. Здесь собраны инструкции, инструменты и сравнения, помогающие сохранять сайты и цифровые ресурсы до того, как они исчезнут.

Найди свою цель​

🚨 «Сайт закрывается через час — что делать?»​

Времени мало, сайт ценный. Прямо сейчас:

  1. Экстренная архивация — быстрые методы.
  2. Save Page Now — моментальное сохранение URL в Wayback Machine (около минуты).
  3. Browsertrix — для современных сайтов (SPA).
  4. Напишите в Telegram-чат @ruarxivechat — поможем.

🔍 «Хочу открыть и посмотреть WARC-файл»​

  1. ReplayWeb.page — онлайн плеер, без установки.
  2. pywb — свой сервер — для публичных архивов.
  3. Как открыть WARC — пользовательская инструкция — пошагово.
  4. Вскрытие WARC — для исследователей — warcdump, warcio, Python.

🛠 «Хочу собрать свой архив»​

  1. Quick start за 5 минут — первый запуск.
  2. Стратегии сбора — 8 параметров стратегии.
  3. Preflight-чеклист — что проверить до запуска.
  4. Wget: сайт в WARC — сценарии сбора сайта консольным инструментом с записью WARC.
  5. WARC-файл: от сырого архива до публикации — полный пайплайн.

📚 «Хочу загрузить в Internet Archive»​

  1. Wayback Machine API — программный доступ.
  2. Internet Archive CLI (ia) — загрузка WARC.
  3. Internet Archive — обзор — коллекции, загрузка, API.

💬 «Хочу сохранить соцсети»​

  1. TikTok — yt-dlp, TikTokApi.
  2. Mastodon, Bluesky, Threads — открытые протоколы.
  3. Data Take-Out: WhatsApp — экспорт чатов.
  4. Auto-Archiver (Bellingcat) — workflow для OSINT.

🔬 «Хочу проанализировать большой архив»​

  1. DuckDB-WARC — SQL-запросы.
  2. WARC-GPT — RAG к коллекции.
  3. Warchaeology — просмотр, валидация и дедупликация WARC.
  4. Работа с большими WARC — потоковая обработка.

🔗 «Хочу найти страницу в архиве»​

  1. Wayback Machine API — программно.
  2. Waybackpy — Python-обёртка.
  3. PastPage — расширение браузера.
  4. Memento — стандарт поиска снимков сразу в нескольких архивах.

📖 «Хочу понять, что такое WARC, WACZ, CDX»​

  1. Глоссарий — все термины цифровой архивации.
  2. Ландшафт 2026 — карта инструментов.
  3. Формат WARC — стандарт архивов.
  4. Формат WACZ — контейнер для плееров.

📚 «Хочу изучить глубже»​

  1. Курс DH.1 — Введение в цифровую архивацию
  2. Курс DH.2 — Веб-архивация
  3. Курс DH.3 — Специализированные ресурсы
  4. Курс DH.4 — Internet Archive

🤝 «Хочу помочь проекту»​

  1. Задачи для волонтёров — конкретные вклады.
  2. Метаданные архива «Эхо Москвы» — задача-пример.
  3. Напишите в Telegram-чат @ruarxivechat — расскажем, что сейчас актуально.

Как устроена эта база знаний​

РазделСодержаниеДля кого
ГайдыПошаговые инструкции, workflowВсе уровни
ИнструментыПодробные страницы по каждому инструментуПрактикующие архивисты
Форматы файловWARC, WACZ, CDX, PREMIS и др.Технари
Воспроизведение архивовpywb, ReplayWeb.page, MementoИсследователи, хостинг-провайдеры
Как пользоваться архивамиИнструкции для конечных пользователейЧитатели
Правовые и этические вопросыCopyright, ToS, персональные данныеВсе
СправочникТерминыВсе
Похожие проектыIA, Common Crawl, Perma.ccИсследователи
Кейсы и историиРеальные примеры архивацииВсе
КурсЛекции DH.1–DH.4Студенты, начинающие
ВолонтёрамЗадачи и контактыПотенциальные помощники

Ключевые форматы за 60 секунд​

WARC (Web ARChive)​

Стандарт ISO 28500 (актуальная редакция — ISO 28500:2017, WARC 1.1). Файл состоит из записей: HTTP-запросы и ответы, ресурсы, метаданные о сборе. Подробнее: WARC-формат.

WACZ (Web Archive Collection Zipped)​

ZIP-пакет, в котором лежат WARC-файлы, индекс CDXJ, список страниц и метаданные (datapackage.json). Открывается в ReplayWeb.page. Подробнее: WACZ-формат.

CDX / CDXJ​

Индекс записей WARC-файлов: для каждого захвата — URL, время, тип, статус, файл и смещение записи. Позволяет быстро найти нужную запись без чтения всего архива. Подробнее: CDX-формат.

ZIM​

Формат для Kiwix — офлайн-чтения Wikipedia и других архивов через специальный плеер. Создаётся из WARC через warc2zim.

MHTML​

Одиночный HTML со встроенными ресурсами. Подходит для сохранения одной страницы. Подробнее: MHTML.


Как помочь Ruarxive​

Ruarxive (Национальный цифровой архив) — инициатива АНО «Инфокультура». Архивация сайтов госорганов ведётся с начала 2010-х годов, с 2016 года архивы публикуются группами данных на hubofdata.ru, с 2017 года работает сайт ruarxive.org, а в марте 2022 года проект перезапущен вместе с Telegram-каналом @ruarxive. Подробнее — в истории проекта; цифры по отдельным коллекциям — в сводке статистики, а реестр исчезающих ресурсов — в кейсе «Исчезающие российские ресурсы».

  1. Сообщить о ресурсе под угрозой — запрос на архивацию через GitHub или Telegram-чат.
  2. Передать архив — если ресурс уже исчез, но есть дамп.
  3. Помочь деньгами — на сервера и хранение.
  4. Помочь руками — задачи в разделе Волонтёрам.
  5. Пожертвовать железо — диски и системы хранения для offline-копий.

Юридическое​

Тексты базы знаний публикуются под лицензией CC BY 4.0. Перед сбором и публикацией архивов прочитайте раздел Правовые и этические вопросы: открытость материала в интернете не означает разрешения на его копирование и распространение.

Связаться​