Уроки проекта Ruarxive
Выводы из конкретных архивационных кампаний. Ссылки вида #N ведут на публикации канала @ruarxive, ссылки на @begtin — на канал Ивана Бегтина (2016–2017).
Ресурсы исчезают быстрее, чем кажется
- Госорганы при реорганизации. Сайт ФМС был закрыт в день ликвидации ведомства, территориальные сайты — в течение нескольких дней (@begtin, 24.01.2017). Из 19 сайтов управлений ФСКН в ЦФО через пять месяцев после приказа о присоединении к МВД недоступно было уже 10 (@begtin, 01.06.2016).
- Банки. «После отзыва лицензии сайт банка живет только пару часов. А иногда и сразу же исчезает» (@begtin, 01.06.2016).
- Государственные проекты. О возможном закрытии сайта Большой российской энциклопедии стало известно за три дня (#129, 14.06.2024): «очень печалит что о происходящем ранее не было известно».
Урок: список ресурсов в зоне риска нужно вести заранее, а архивацию запускать сразу по первым сигналам — ликвидация организации, блокировка, смена руководства (#5).
Сохранить удаётся не всё
- Сайт «Эха Москвы» собран почти полностью, но медиаархив — нет: mp3 выкачивались по спискам ссылок с CDN радиостанции, пока он ещё работал (#11); «к сожалению сохранить удалось не всё» (#16); «что успели, то спасли» (#105).
- «За те несколько лет что я архивирую сайты госорганов я могу сказать что потеряно уже больше чем удалось сохранить» (@begtin, 18.11.2016).
Урок: если времени мало, публикуйте списки ссылок, чтобы скачивать могли и другие (так сделано в #11), и параллельно ищите копии у владельцев и в других архивах.
Internet Archive не заменяет собственную архивацию
- Internet Archive почти не сохраняет mp3, mp4, архивы и многие документы и архивирует в основном то, на что есть ссылки (#3).
- С 2022 года многие сайты госорганов закрыты от обхода с нероссийских IP и защищены анти-DDoS-сервисами; в Internet Archive они не попадают или попадают с ошибками 403 (#105, #113, #150).
- Огромное число региональных и муниципальных сайтов Internet Archive не обходит более трёх лет, а при переводе на ГосВеб со старых сайтов переносятся не все материалы (#170).
Урок: для российских госсайтов нужен собственный обход, а Internet Archive — дополнительное место хранения копии (#28, #89, #182).
Большой архив нужно сделать удобным
- WARC-файл сайта «Эха Москвы» весит 173 ГБ, поэтому рядом выложен CDX-список всех файлов, по которому можно понять содержание архива, не скачивая его (#8).
- Из того же архива сделана копия только из HTML-страниц — 911 МБ в сжатом виде; она удобна для извлечения расшифровок и списка программ (#39).
- Статьи БРЭ опубликованы не только как WARC, но и как ZIP-архивы HTML на hubofdata (#131); отчёты Счётной палаты — вместе с набором метаданных (#89).
- Индекс metawarc на SQLite мог занимать до 20% от размера WARC; после перехода на DuckDB и Parquet метаданные WARC-файла 4,5 ГБ занимают 3,5 МБ (#160).
Урок: кроме самого WARC, публикуйте индекс (CDX/CDXJ) и производные наборы — тексты, метаданные, списки файлов.
Каталогизация дольше архивации
«Архивировать можно быстро, каталогизировать архивы потом долго и очень трудоёмко» (#3). Разметка программ «Эха Москвы» для метаданных в Internet Archive потребовала помощи волонтёров (#28, #46); систематизация всех ранее собранных архивов в единый набор данных началась только в конце 2025 года (#174).
Урок: заполняйте карточку ресурса (что, когда, каким инструментом, где лежит) сразу при архивации.
Инфраструктура должна выдерживать нагрузку
После публикации архивов «Эха Москвы» сервер проекта «с трудом справлялся с нагрузкой», и файлы пришлось срочно переносить в облачное хранилище (#7). Для хранения пришлось докупать диски (#23).
Урок: большие архивы сразу выкладывайте в облачное хранилище (у Ruarxive — Backblaze) и держите офлайн-копию (#5).
Ресурсов всегда мало
На такой проект «сложно привлечь средства. А волонтеров оказывается очень немного» (@begtin, 21.01.2017); «удаётся сохранить далеко не всё что хотелось бы» (#164). Работает то, что снижает порог участия: задачи для волонтёров с программированием и без (#22, #46, #62), открытый код инструментов и база знаний.