История проекта Ruarxive
Национальный цифровой архив (Ruarxive) — инициатива АНО «Инфокультура». Краткая хронология:
- с начала 2010-х годов — архивация сайтов госорганов (проект «Архивация государства»);
- с 2016 года — публикация архивов в группах данных на hubofdata.ru;
- с 2017 года — проект ruarxive.org (домен зарегистрирован 19.10.2017);
- март 2022 года — перезапуск проекта и Telegram-канал @ruarxive (создан 03.03.2022).
Источники. События 2016–2017 годов описаны по публикациям Ивана Бегтина в его Telegram-канале @begtin (канала @ruarxive тогда ещё не было). События с марта 2022 года — по публикациям канала @ruarxive, ссылки вида t.me/ruarxive/N даны у каждого пункта.
Начало 2010-х: «Архивация государства»
В январе 2017 года Иван Бегтин писал, что проектом «Архивация государства» он занимается «уже более 5 лет» и что это «один из наименее публичных проектов Инфокультуры» (@begtin, 24.01.2017). Поводом стало то, что при реорганизации ведомств и смене руководителей старые сайты быстро исчезают, а на новые переносится далеко не вся информация.
По тому же посту, проект был сделан «по модели ArchiveTeam»: сайты выкачиваются в WARC и складываются для общего доступа, но без внешнего финансирования и без большого числа волонтёров.
2016: первые группы данных на hubofdata
Май 2016: архивы правоохранительных органов
- В начале мая 2016 года делались копии сайтов упраздняемых ФСКН и Росфиннадзора; вместо сайта ФМС к этому времени уже стояла заглушка с перенаправлением на сайт МВД (@begtin, 03.05.2016).
- 15 мая 2016 года на хабе открытых данных создана группа «Архивы сайтов правоохранительных органов России». На старте в ней были архивы четырёх сайтов: ФМС (сделан со старой копии по адресу 92.fms.gov.ru), ФСКН, внутренних войск МВД (vvmvd.ru) и портала 112.ru — в формате WARC и в виде архива для распаковки (@begtin, 15.05.2016).
«Силовики вообще мастера заметать следы в публичном пространстве. Не могу забыть как в 2011 году МВД уничтожило одномоментно все официальные сайты УВД субъектов и создало новые в поддомене mvd.ru» — @begtin, 03.05.2016.
Июнь 2016: сайты ФСКН после присоединения к МВД
Из 19 официальных сайтов территориальных управлений ФСКН в ЦФО к 01.06.2016 недоступно уже 10 (@begtin, 01.06.2016):
«Хуже чем с силовиками ситуация обстоит только с банками. После отзыва лицензии сайт банка живет только пару часов».
Ноябрь 2016: миграции на единые платформы
В связи с инициативой по унификации сайтов органов власти (@begtin, 18.11.2016):
«За те несколько лет что я архивирую сайты госорганов я могу сказать что потеряно уже больше чем удалось сохранить».
2017: описание проекта и домен ruarxive.org
Январь 2017: «Архивация государства»
- В посте об американских проектах End of Term Presidential Harvest 2016 и DataRefuge проект «Архивация государства» описан так: «уже собрано несколько терабайт данных в сжатом виде и десятков-сотен в распакованном» (@begtin, 21.01.2017). Там же названы трудности: на такой проект сложно привлечь средства, а волонтёров очень немного.
- Через три дня опубликован подробный состав архива на январь 2017 года: 1,4 ТБ веб-архивов (около 15 ТБ в распакованном виде), в том числе 345 сайтов банков, 39 сайтов «Мемориала», 55 сайтов РИА Новости, сайты региональных арбитражных судов и около 500 сайтов органов власти (@begtin, 24.01.2017).
Эти цифры — исторические, на дату публикации; актуальные данные по коллекциям собраны на странице «Статистика: снимок».
Октябрь 2017: домен ruarxive.org
Домен ruarxive.org зарегистрирован 19.10.2017 (по данным whois).
2021: кампании Роснано и «Мемориала»
К моменту перезапуска проекта в 2022 году уже были проведены две архивационные кампании — сайтов Роснано и сайтов «Мемориала» (#5). Архив сайтов Роснано 2021 года в формате WARC лежит в cdn.ruarxive.org/public/webcollect2021/rusnano2021/ (#110). Состав обеих папок — на странице «Мемориал» и Роснано, кампании 2021 года.
2022: перезапуск проекта
Март 2022: канал @ruarxive и «Эхо Москвы»
-
03.03.2022 — Иван Бегтин объявляет, что главной задачей становится «сохранение новейшей истории» и первоочередная задача — архивация сайта «Эха Москвы» (#3). В тот же день создан канал @ruarxive (#4).
-
04.03.2022 — объявлен перезапуск сайта ruarxive.org, запуск канала и переход к архивации наиболее уязвимых и значимых сайтов; списки архивационных кампаний ведутся в AirTable (#5).
-
«Эхо Москвы» (#6, #8, #16, #39):
- сайт echo.msk.ru собран 3–4 марта, около 176 ГБ; WARC-файл — 173 ГБ, 63 299 файлов, из них 7 364 mp3;
- Telegram-канал — 18 ГБ, более 50 тысяч сообщений;
- сообщество во ВКонтакте — 134 МБ, только тексты более чем 99 тысяч записей;
- медиаархив mp3 — около 465 ГБ, около 20 тысяч записей передач; «к сожалению сохранить удалось не всё» (#16);
- с 29.03.2022 медиаархив загружается в Internet Archive (#28), 05.04.2022 создана коллекция archive.org/details/echo-of-moscow (#39).
Подробнее — на странице «Эхо Москвы».
-
«Новая газета» — 05.03.2022 загружен архив Telegram-канала (20 ГБ); сайт и спецпроекты заархивированы 3 марта, архивация самого сайта перезапущена в конце марта и закончена к 05.04.2022 (#7, #31, #39).
-
Заблокированные СМИ — к 23.03.2022 сохранены colta.ru, theins.ru, paperpaper.ru, agentura.ru, news.doxajournal.ru, общий объём около 100 ГБ (#23).
-
Coub — 15.03.2022 начата архивация после объявления о закрытии сервиса 1 апреля. К 17.03 выгружены 1 952 ролика раздела Hot, 55 ГБ. 18.03 опубликован репозиторий с метаданными API (#17, #18, #20). Подробнее — Coub.
-
Instagram — 28.03.2022 закончена архивация 171 аккаунта официальных лиц и политиков РФ: архив 1,4 ГБ, инструмент instaloader, код и список аккаунтов в репозитории ruarxive/rugovinstagrams (#27). Работа велась вместе с проектом «Декларатор» (#34).
-
31.03.2022 — бета-версия утилиты wparc для архивации сайтов на WordPress (#32).
Апрель–май 2022: новый сайт и конференция
- 05.04.2022 — открыт обновлённый сайт ruarxive.org на Docusaurus с открытым кодом (#36, #39).
- 08.04.2022 — начата кампания по архивации порталов открытых данных (#43); к 20.05.2022 собраны данные 37 сайтов, 43 ГБ в сжатом виде (около 320 ГБ в распакованном) (#55).
- 19.05.2022 — конференция по цифровым архивам; организаторы — АНО «Инфокультура» и Российская государственная библиотека, в сотрудничестве с Музеем «Гараж» (#52). Подробнее — «Конференции и события».
Июнь–декабрь 2022
- 29.06.2022 — в обзоре инструментов для исследования веб-архивов представлен metawarc (
datacoon/metawarc) — утилита для извлечения метаданных из файлов внутри WARC (#61). - 05.07.2022 — кампания по архивации сайтов избирательных комиссий муниципальных образований (#63).
- 20.10.2022 — срочная архивация ресурсов Ростуризма в связи с его ликвидацией (#78).
- 02.12.2022 — архив отчётов Счётной палаты (4,2 ГБ в сжатом виде) загружен в Internet Archive; архив сделан утилитой apibackuper (#89).
2023: оперативное сохранение
- 06.06.2023 — проект работает «в режиме оперативного сохранения»: сообщество сообщает, что ресурс может исчезнуть, и копию делают в срочном порядке. Сайты госорганов стало сложнее сохранять: многие закрыты от краулеров с нероссийских IP и защищены анти-DDoS-сервисами (#105).
- 15.12.2023 — с сайта Росимущества исчез раздел открытых данных; сайт с февраля 2022 года закрыт для индексации с нероссийских IP (#113).
2024: polit.ru и Большая российская энциклопедия
- 14.04.2024 — начата архивация заблокированного издания polit.ru (#125).
- Июнь 2024 — экстренная архивация Большой российской энциклопедии: сохранены 82 228 статей old.bigenc.ru (1,4 ГБ в сжатом виде) и 224 556 статей bigenc.ru (6,9 ГБ), идёт сбор WARC (#130, 18.06.2024); архивы статей выложены на hubofdata (#131, 28.06.2024).
2025
-
18.02.2025 — проверка показала, что Internet Archive не сохраняет многие сайты федеральных органов власти: часть не архивируется почти три года, а сайт Росархива сохранялся с ошибками 403 (#150).
-
22.04.2025 — стал недоступен портал aisup.economy.gov.ru; у Ruarxive есть копия восьмилетней давности, 33 ГБ WARC (#155).
-
19.05.2025 — начата архивация ресурсов Росстата и ЕМИСС в связи с планируемым выводом ЕМИСС из эксплуатации (#159).
-
30.06.2025 — metawarc переписан на DuckDB и Parquet (#160).
-
16.09.2025 — обсуждение того, как развивать сообщество: обновить сайт и выложить накопленные архивы, форум, обязательная копия в Internet Archive, курсы, митапы, актуализация гайдов (#164).
-
15.12.2025 — большое обновление сайта (#174): добавлены новые статьи (в том числе «Быстрый старт», «Экстренная архивация», «Курс по цифровой архивации»), поиск, Docusaurus обновлён до последней версии. Из поста:
«Новое содержимое сайта собрано из публикаций в телеграм канале @ruarxive, других публикаций об исчезновении интернет-ресурсов, презентаций курса по цифровой архивации и других материалов».
Курс из четырёх лекций — DH.1–DH.4.
-
15.12.2025 — пост о мессенджере MAX: каналы нельзя читать без авторизации и нет выгрузки данных, поэтому MAX назван «закрытым контролируемым не архивируемым пространством» (#175). См. MAX.
2026
- 20.01.2026 — подборка каталогов ресурсов (#177): Awesome Digital Preservation от Ruarxive и от сообщества Digipres, Awesome Web Archiving (IIPC), ArchiveTeam Wiki и база знаний Ruarxive. См. Каталоги «Awesome…».
- 02.04.2026 — на фоне блокировок Telegram в России канал @ruarxive продолжает работу; клонов в VK или MAX не будет. Архивы сайтов заблокированных в РФ организаций и проектов сохраняются, их удаление не планируется, копии есть в Internet Archive (#182).
- 08.08.2026 — вышла версия metawarc 2.0 с возможностью проигрывать веб-архивы через pywb (#190). По CHANGELOG репозитория, в 2.0 также есть REST API и MCP-сервер (metawarc-mcp).
- 26.09.2026 — опрос в канале о том, чего не хватает в базе знаний (#192).
- Октябрь 2026 — ревизия базы знаний. Из раздела «Благодарности» убрано упоминание Transparency International: в 2022 году «коллеги из Трансперенси» помогли собрать список Instagram-аккаунтов (#27), а в марте 2023 года Transparency International признана в РФ нежелательной организацией.
Постоянные трудности
По публикациям разных лет:
- Ресурсы. На такой проект сложно привлечь средства, волонтёров немного (@begtin, 21.01.2017; #164).
- Сохранить удаётся не всё. «Что успели, то спасли» — об архиве «Эха Москвы» (#105).
- Доступ к госсайтам. С 2022 года многие сайты госорганов закрыты для обхода с нероссийских IP и не попадают в Internet Archive (#105, #113, #150).
- Каталогизация. «Архивировать можно быстро, каталогизировать архивы потом долго и очень трудоёмко» (#3); систематизация всех собранных архивов в единый набор данных идёт с конца 2025 года (#174).