Сравнения и лучшие практики
Сравнение подходов к сохранению цифрового наследия в разных странах, подходов к архивации, инструментов и форматов.
Международные сравнения
Государственная политика веб-архивации
Россия
- Нет государственного веб-архива и обязательных требований к архивации официальных сайтов.
- При реорганизации ведомств старые сайты обычно исчезают без архивации (кейс госорганов).
«В России, есть много областей в которых есть просто нулевая активность государства: архивация цифровых материалов (не путайте с цифровыми архивами)» — @begtin, 01.06.2016.
США
- Библиотека Конгресса ведёт веб-архивацию.
- End of Term Web Archive — архивация сайтов федерального правительства при смене администрации, с 2008 года (eotarchive.org).
- Подробнее — Международные примеры.
Великобритания
- UK Web Archive — веб-архив библиотек обязательного экземпляра во главе с Британской библиотекой.
- UK Government Web Archive — архив сайтов государственных органов, который ведёт The National Archives.
- Официальные сайты собраны на единой платформе GOV.UK.
Открытый исходный код в госсекторе
«В десятках стран сотни госструктур раскрывают свой исходный код и ведут открытую разработку» — @begtin, 01.06.2016.
Сравнение подходов к архивации
Проактивная и реактивная архивация
| Подход | Суть | Плюсы | Минусы | Примеры |
|---|---|---|---|---|
| Проактивная | Архивация до исчезновения — по плану или по первым сигналам риска | Полнота, можно сохранить всё нужное | Требует мониторинга и ресурсов | End of Term Archive; архивация Ростуризма при объявлении о ликвидации (#78) |
| Реактивная | Попытка восстановить ресурс после исчезновения | Иногда единственный вариант | Часто неполно или невозможно | Поиск копий regnum.ru в кэше поисковиков (#81) |
Единые платформы
При миграции на единые платформы теряются материалы старых сайтов:
«При миграции на новые/единые платформы теряются огромные объемы информации» — @begtin, 18.11.2016.
Современный пример — перевод региональных и муниципальных сайтов на ГосВеб (кейс миграций).
Ruarxive и Internet Archive
| Ruarxive | Internet Archive | |
|---|---|---|
| Что сохраняется | Стремится к полному слепку сайта, включая mp3, документы и архивы (#3); на практике сохранить удаётся не всё (#105) | В основном HTML-страницы и часть изображений; mp3, mp4, архивы и многие документы — ограниченно (#3) |
| Как выбираются сайты | По общественной значимости и риску исчезновения (#5) | В основном обход по ссылкам: малоцитируемые страницы попадают в архив реже (#3) |
| Частота | Реже, по кампаниям | Постоянно |
Социальные сети и мессенджеры
| Платформа | Как архивируется | Ограничения |
|---|---|---|
| Telegram | Экспорт каналов через Telegram Desktop (#6) или tdl, см. Архивация Telegram | Большой объём видео |
| instaloader (#27) | Изображения и видео сохраняются ограниченно из-за ограничений платформы | |
| MAX | Нет публичного просмотра каналов и выгрузки данных (#175) | Архивация практически невозможна |
Лучшие практики
- Заблаговременная подготовка — вести список ресурсов в зоне риска, расставлять приоритеты.
- Координация — между библиотеками, архивами, университетами и сообществом; инструменты номинации, как в End of Term (@begtin, 21.01.2017).
- Стандартные форматы — WARC для веб-архивов, CDX/CDXJ для индексов, описательные метаданные.
- Несколько копий — облачное и офлайн-хранение, копия в Internet Archive (#5, #28).
Сравнение инструментов архивации
Классические краулеры
| Инструмент | JavaScript | Масштабирование | Сложность | Формат вывода |
|---|---|---|---|---|
| Wget | Нет | Одна машина | Низкая | Файлы; WARC с ключом --warc-file (с версии 1.14) |
| Wpull | Нет | Одна машина | Средняя | WARC |
| Heritrix | Нет (ссылки из JS извлекаются эвристически) | Высокое | Высокая | WARC |
| grab-site | Нет | Одна машина | Средняя | WARC |
Браузерные краулеры
| Инструмент | Масштабирование | Интерфейс | Формат вывода | Примечание |
|---|---|---|---|---|
| Browsertrix Crawler | Одна машина (Docker); облачный Browsertrix — с веб-интерфейсом | CLI / веб | WARC, WACZ | Подходит для большинства сайтов с JavaScript |
| Brozzler | Несколько рабочих узлов, состояние обхода — в RethinkDB | CLI, веб-панель | WARC (через warcprox) | Дл я больших проектов |
| Squidwarc | Одна машина | CLI | WARC | Не обновлялся с 2020 года |
Инструменты воспроизведения
| Инструмент | Язык | Особенности |
|---|---|---|
| OpenWayback | Java | Классический Wayback; в режиме поддержки, IIPC рекомендует переходить на pywb |
| pywb | Python | Современная серверная реализация Wayback |
| ReplayWeb.page | JavaScript | Работает в браузере, сервер не нужен |
| ipwb | Python | Хранение и воспроизведение через IPFS |
NDSA Levels of Digital Preservation
NDSA Levels of Digital Preservation — модель оценки программы цифрового сохранения. Версия 2.0 (2019) — это матрица из пяти функциональных областей и четырёх уровней.
Уровни:
- Know your content — знать, что у вас хранится.
- Protect your content — защитить содержимое.
- Monitor your content — следить за состоянием.
- Sustain your content — обеспечить долгосрочную доступность.
Функциональные области: Storage (хранение), Integrity (целостность), Control (контроль доступа), Metadata (метаданные), Content (содержимое и форматы).
Например, в области Storage уровень 1 требует двух полных копий в разных местах, а в области Integrity — проверять или создавать контрольные суммы и проверять содержимое на вирусы.
Используйте матрицу для оценки текущего состояния архива, планирования улучшений и сравнения с другими организациями.
Сравнение форматов хранения
| Формат | Размер | Индексация | Просмотр | Когда использовать |
|---|---|---|---|---|
| WARC | Исходный объём (обычно gzip) | Нужен отдельный индекс CDX/CDXJ | Через pywb, ReplayWeb.page и др. | Долгосрочное хранение |
| WACZ | Как WARC плюс индекс (ZIP-контейнер) | Индекс внутри файла | В браузере через ReplayWeb.page | Распространение и просмотр |
| Файлы на диске | Зависит от сайта | Нет | Напрямую | Простые статические сайты, быстрый доступ |
WARC — стандарт ISO 28500 (текущая версия — ISO 28500:2017, WARC 1.1); подробнее — формат WARC.