Порталы открытых данных
С 8 апреля по 20 мая 2022 года Ruarxive собирал российские порталы открытых данных. К 20 мая в посте названы 37 сайтов: 43 ГБ в сжатом виде (zip и warc.gz) и около 320 ГБ в распакованном (#43, #55). Крупнейшие в том посте — opendata.mkrf.ru (15 ГБ) и data.gov.ru (14 ГБ).
Оценка из поста о старте: таких порталов, разделов и сайтов в России больше 240. Кампания покрыла не все.
Где лежит список и код
- Таблица кампании: airtable.com/shr1rzsajTM5SSyoI. К 11 апреля 2022 года в ней были систематизированы data.gov.ru, data.mos.ru, opendata.mkrf.ru и раздел открытых данных Росстата; архив fedstat.ru к этой дате был готов (#43, #44).
- Код выгрузки: ruarxive/rudatarchive.
- Слепок data.gov.ru от 2 февраля 2022 года и региональные порталы 2017 года указаны в посте о старте.
Порталы устроены по-разному, поэтому одной обходкой HTML дело не ограничивалось: часть снимали как веб-архив, часть — скриптом под конкретный портал. Отчёты Счётной палаты, собранные позже через API, описаны отдельно в кейсе про API.
Папка dataportals в хранилище
В снимке хранилища папка dataportals — 38 ресурсов и 47,6 ГБ. Это не дословная копия фразы «37 сайтов, 43 ГБ»: снимок каталога и пост от 20 мая 2022 года считались в разное время. Крупнейшие в этом снимке:
| Портал | Объём | Папка | Дата файла |
|---|---|---|---|
| opendata.mkrf.ru | 15,9 ГБ | 2021-06-13 | 11.04.2022 |
| data.gov.ru | 15,0 ГБ | 2022-02-02 | 02.02.2022 |
| data.mos.ru | 6,0 ГБ | 2021-07-01 | 11.04.2022 |
| rosstat.gov.ru | 5,3 ГБ | 2022-01-29 | 10.04.2022 |
Дальше в той же папке — региональные порталы апреля 2022 года. Крупнейший из них — www.opendata71.ru, 1,5 ГБ; затем opendata.perm.ru, opendata.yarcloud.ru, data.admhmao.ru и другие. Слепок fedstat.ru в этой папке — 0,09 ГБ (файл 10.04.2022).
Более ранние копии тех же порталов лежат в других местах. Полный перечень — в разделе «Порталы открытых данных в индексе» страницы «Консервированное государство»:
- webcollect/data — data.mos.ru, 16,1 ГБ (07.10–30.11.2014), и data.gov.ru, 0,88 ГБ;
- data.gov.ru в коллекции
gov— 58,4 ГБ, веб-архив 21.02–28.04.2017; - datacollect/opendata.mkrf.ru/packages — 15,9 ГБ, дата файла 25.06.2021;
- datacollect/fedstat.ru/dump_20130805 — 6,8 ГБ, дата файла 05.08.2013.
Что эта кампания не закрывает
Раздел открытых данных Росимущества (rosim.gov.ru/opendata) к декабрю 2023 года отвечал 404. Снимок Internet Archive от 5 февраля 2022 года ещё показывает раздел; с февраля 2022 года сайт закрыт для индексации с нероссийских IP (#113). Это отдельный случай, не файл из папки dataportals.
Превентивный сбор Росстата и ЕМИСС объявлен 19 мая 2025 года из-за планируемого вывода ЕМИСС из эксплуатации (#159). Объёма этого сбора в известных списках файлов нет. Рядом по срокам — страница кампаний госсайтов 2022–2025.