Перейти к основному содержимому

Тестовые файлы и корпуса

Корпуса тестовых файлов необходимы для тестирования и оценки инструментов цифрового сохранения и веб-архивации.

Многоформатные корпуса​

OPF Format Corpus​

OPF Format Corpus — коллекция тестовых файлов различных форматов от Open Preservation Foundation.

  • Использование: Тестирование инструментов идентификации форматов
  • Форматы: Множество различных форматов файлов
  • Доступ: GitHub репозиторий

iPres System Showcase Test Suite​

iPres System Showcase Test Suite — набор тестовых файлов, размещённый UK Web Archive.

  • Использование: Демонстрация возможностей систем сохранения
  • Статус: UKWA временно недоступен

EDRM Data Set Files​

EDRM Data Set Files — наборы тестовых данных для электронного обнаружения.

  • Использование: Тестирование обработки различных форматов
  • Форматы: Документы, электронная почта, базы данных

digitalcorpora.org​

digitalcorpora.org — корпуса данных, включая govdocs1.

  • govdocs1: Большой корпус правительственных документов
  • Использование: Тестирование на реальных данных

Формат-специфичные корпуса​

PDF​

  • Adobe Acrobat Engineering: Тестовые документы от Adobe
  • Isartor PDF/A Test Suite: Тесты для PDF/A
  • veraPDF Corpus: Корпус для PDF/A валидации
  • PDF Cabinet of Horrors: Проблемные PDF файлы

JPEG2000​

  • OPF JP2k test corpus: Тестовые файлы JPEG2000
  • openjpeg-data: Тестовые файлы для OpenJPEG
  • jpylyzer-test-files: Тестовые файлы для Jpylyzer

TIFF​

  • libtiff TIFF Test Images: Тестовые изображения TIFF

ePub​

  • IDPF ePub test suite: Официальный тестовый набор ePub
  • KBNLresearch/epubPolicyTests: Тесты политик ePub

Веб-архивы​

Internet Archive Example Files​

Internet Archive Example Files — примеры ARC и WARC файлов от Internet Archive.

  • Использование: Тестирование инструментов работы с WARC
  • Форматы: ARC, WARC

Использование для тестирования​

Тестирование инструментов идентификации​

# Тестирование Siegfried
sf -hash md5 OPF-format-corpus/

# Тестирование DROID
droid OPF-format-corpus/

Тестирование валидации​

# Тестирование валидации PDF/A
veraPDF --format pdfa OPF-format-corpus/*.pdf

Тестирование обработки WARC​

# Тестирование обработки WARC
warcio test example.warc

Создание собственных корпусов​

Рекомендации​

  • Включайте различные типы файлов
  • Добавляйте проблемные случаи
  • Документируйте ожидаемые результаты
  • Обновляйте корпус регулярно

Вклад в существующие корпуса​

Можно внести вклад в существующие корпуса:

  • OPF Format Corpus
  • Добавление новых форматов
  • Улучшение документации

Ресурсы​

Связанные материалы​