Перейти к основному содержимому

Загружаемые данные

В этом разделе собраны утилиты, которые систематически выгружают структурированные данные через API: реестры, каталоги, порталы органов власти. В отличие от браузерных краулеров они работают с ответами API напрямую, поэтому архив получается компактным и машиночитаемым.

Что внутри​

  • apibackuper — инструмент для резервного копирования REST API с постраничной выдачей (GET и POST). Режимы full, continue и update, продолжение с контрольной точки, хранение в ZIP, каталоге или SQLite, экспорт в JSONL, gzip, zstd и Parquet. Встроенного планировщика нет — регулярные запуски настраиваются через cron или CI.
  • Конфигурации apibackuper — реальные проекты: репозиторий apibackuper-dataarchive (проверки Счётной палаты, реестр удостоверяющих центров, ГИСП, формы ГВР, участки МВД, инициативы «Твой бюджет» Санкт-Петербурга) и примеры в самом репозитории apibackuper.
  • spcrawler — утилита для выгрузки данных публичных сайтов на Microsoft SharePoint через API /_api/web. Не развивается с 2022 года.

Когда использовать​

Если у ресурса есть API, начинайте с него: так данные получаются полнее и в структурированном виде. Браузерная архивация (Browsertrix, wget) нужна, когда API нет, он сильно ограничен или важно сохранить вид страниц. Часто полезно и то и другое: данные через API и WARC с HTML-страницами.

Файлы, ссылки на которые есть в выгруженных данных, удобно скачивать filegetter или командой apibackuper getfiles.

Связанные разделы​