Перейти к основному содержимому

Тестовые файлы и корпуса

Корпуса тестовых файлов нужны, чтобы проверять и сравнивать инструменты цифрового сохранения и веб-архивации: идентификацию форматов, валидацию, обработку WARC.

Веб-архивы (WARC)​

Примеры от Internet Archive​

ExampleArcAndWarcFiles — небольшие примеры файлов ARC и WARC от Internet Archive (IAH-20080430204825-00000-blackbook.arc.gz и .warc.gz). Подходят для проверки парсеров ARC и WARC.

WARC из коллекций Ruarxive​

  • Сайт Минспорта, 2019 год — minsport.gov.ru-2019-04-08-d8919777-00000.warc.gz, около 1,1 ГБ. На нём удобно проверять индексацию и извлечение документов (PDF, Word) — пример из публикации о metawarc (#160).
  • Полный перечень файлов хранилища — в реестре allarchives.csv.

Отдельного крошечного WARC или WACZ проекта Ruarxive для юнит-тестов в хранилище не выложено. Для проверки парсера берут файл из ExampleArcAndWarcFiles выше. Минспорт удобен для индексации и извлечения PDF, но для первого запуска инструмента он слишком большой. Как вырезать из большого WARC новый файл из целых записей — в гайде «Фильтрация WARC». Обрезать .warc.gz командой head нельзя: последняя запись окажется битой.

Спецификации​

iipc/warc-specifications — спецификации WARC, CDX и связанных форматов, с примерами записей.

Многоформатные корпуса​

OPF Format Corpus​

OPF Format Corpus — коллекция тестовых файлов различных форматов от Open Preservation Foundation: офисные документы, PDF (в том числе подборка проблемных файлов pdfCabinetOfHorrors), JPEG 2000, TIFF, электронные книги, видео и другие.

  • Использование: тестирование инструментов идентификации и валидации форматов.

digitalcorpora.org​

digitalcorpora.org — корпуса данных для исследований в цифровой криминалистике, включая govdocs1 — около миллиона файлов, собранных с сайтов правительства США.

EDRM Data Sets​

EDRM Data Sets — наборы тестовых данных для электронного раскрытия документов (e-discovery): документы, электронная почта.

Корпуса по форматам​

ФорматКорпус
PDF/AveraPDF Corpus — тестовые файлы для валидации PDF/A и PDF/UA
PDFpdfCabinetOfHorrors и pdf-handbuilt-test-corpus в OPF Format Corpus
JPEG 2000openjpeg-data, jpylyzer-test-files, каталоги jp2k-test и jp2k-formats в OPF Format Corpus
TIFFкаталог tiff-examples в OPF Format Corpus
EPUBw3c/epub-tests — тесты EPUB от W3C; KBNLresearch/epubPolicyTests — тесты политик EPUB (не обновляется с 2017 года)

Как проверять инструменты​

Идентификация форматов — Siegfried​

git clone https://github.com/openpreserve/format-corpus
sf -hash md5 -csv format-corpus/ > sf-report.csv

Проверено на siegfried 1.11.2 (октябрь 2026). Для DROID см. документацию The National Archives и страницу инструменты идентификации.

Валидация PDF/A — veraPDF​

# -f 0 — автоматически выбрать профиль по метаданным файла
verapdf -f 0 file.pdf

Ключ профиля -f (--flavour) описан в документации veraPDF.

Обработка WARC — warcio​

pip install warcio
warcio index example.warc.gz         # индекс записей в JSON
warcio check -v example.warc.gz      # проверка цифровых подписей (digest) записей
warcio extract example.warc.gz 0     # извлечь запись по смещению

Команды сверены с --help warcio 1.8.1 (октябрь 2026). У warcio есть подкоманды index, check, extract и recompress.

Создание собственных корпусов​

  • Включайте различные типы файлов и проблемные случаи.
  • Документируйте ожидаемые результаты для каждого файла.
  • Указывайте источник и лицензию каждого файла.

Дополнения к OPF Format Corpus принимаются через GitHub.

Связанные материалы​

Последнее обновление