DH.1. Введение в цифровую архивацию

Основы цифровой архивации, понятия born-digital, цели и задачи цифрового сохранения.

Презентация

📄 Скачать презентацию (PDF)👁️ Открыть в новой вкладке

Содержание курса

Курс "Цифровая архивация" включает:

• Введение в цифровые архивы
• Веб-архивация
• Архивация специализированных цифровых объектов
• Инструменты цифровой архивации

Что такое цифровая архивация?

Цифровая архивация (digital preservation) — это формальный подход к тому, чтобы гарантировать, что цифровая информация, имеющая постоянную ценность, остается доступной и пригодной для использования.

Это включает:

• Планирование
• Распределение ресурсов
• Применение методов и технологий сохранения
• Политику, стратегии и действия для обеспечения доступа к переформатированному и "рожденному цифровым" (born-digital) контенту

Независимо от проблем, связанных с неработоспособностью цифровых носителей и технологическими изменениями.

Примечание: В России цифровую архивацию также чаще называют электронным архивированием (e-archiving).

Что такое born-digital?

Рожденный в цифре (born-digital / digital born) — термин "рожденный цифровым" относится к материалам, которые создаются в цифровой форме.

Это отличается от процесса оцифровки (цифрового переформатирования), посредством которого аналоговые материалы становятся цифровыми, как в случае файлов, созданных путем сканирования физических бумажных записей.

Примеры объектов "рожденных в цифре"

• Веб-сайт
• Фотография с соцсети (VK)
• Код программы

Зачем нужно архивировать "цифру"?

Цели цифровой архивации

• Сохранение особо ценных знаний — например, научные данные
• Сохранение новейшей истории — современные цифровые материалы
• Подотчетность государства и власти — любые публичные материалы органов власти
• Цифровая форензика — расследования
• Исполнение законов и регуляторных требований
• Создание общедоступных материалов для исследователей

Примеры цифровых архивов

Harvard Dataverse

Сайт: dataverse.harvard.edu

Проект создан для сохранения научных данных, создаваемых при подготовке научных работ. Эти знания имеют особую ценность.

Интернет архив

Сайт: archive.org

Основная цель проекта Интернет-архив — сохранение современной истории в максимально возможном объёме.

UK Government Web Archive

Сайт: www.nationalarchives.gov.uk/webarchive

Государственный веб-архив Великобритании, который ведёт The National Archives, архивирует государственные цифровые ресурсы: сайты, соцсети, видео, твиты и т. д. Архив ведётся с 2003 года, самые ранние снимки в нём относятся к 1996 году.

Цель архивации: полная подотчетность власти.

Common Crawl

Сайт: www.commoncrawl.org

Общедоступный открытый поисковый индекс, сравнимый с поиском Google или Яндекса, в виде базы данных с возможностью доступа к ретроспективным данным.

Используется исследователями для обучения языковых моделей ИИ.

End of Term Archive

Сайт: eotarchive.org

Архив сайтов федеральной власти США, который при каждой смене президентской администрации, начиная с 2008 года, собирают совместно Internet Archive, Библиотека Конгресса, Калифорнийская цифровая библиотека (California Digital Library), университеты и другие участники IIPC.

Создан для обеспечения подотчетности власти.

Типы цифровых архивов

Цифровые архивы могут быть:

• Глобальными
• Национальными
• Специализированными / тематическими
• Академическими
• Корпоративными
• Некоммерческими
• Коммерческими

Пример коммерческого архива

Tgstat (tgstat.ru) — коммерческий проект по сбору статистики сервисов Telegram и ведению архива и поиску по архиву всех общедоступных публикаций в Telegram.

Цифровые объекты

Основные характеристики

Цифровые объекты (цифровые артефакты):

• Создаются с разными целями
• Архивируются разными стратегиями и разными инструментами
• Отличаются по доступности (например, сайты чаще доступны, а электронная почта чаще нет)
• Имеют разные форматы хранения
• Хранение изображений и документов зависит от того, какими инструментами их создавали

Пример: Фотография в Telegram канале сохраняется через API Telegram, а в Twitter — через API Twitter.

Виды цифровых объектов

• Веб-сайты
• Цифровые тексты
• Публикации в соцсетях
• Фотографии и цифровые изображения
• Видео
• Компьютерный код
• Компьютерные программы
• Компьютерные игры
• Инженерные схемы (CAD)
• Электронная почта
• Электронные документы
• Иные двоичные файлы

Примеры специализированных архивов

Software Heritage (www.softwareheritage.org) — проект по архивации общедоступного открытого исходного кода. Код собирается из таких платформ как GitHub, GitLab и др.

Форматы файлов и технологии

Основные тезисы

• Форматы файлов могут сильно варьироваться в зависимости от вида цифрового объекта
• Для электронных писем есть около десятка форматов их хранения, аналогично для изображений, видео и документов
• Форматы файлов неразрывно связаны с возможностью работы с ними и доступностью инструментов для такой работы
• Крупнейшие архивы создают реестры форматов файлов, рекомендации и требования к архивируемым файлам/объектам
• Не всегда есть возможность задать получаемые форматы файлов. При веб-архивации архивируется всё, и надо уметь работать с любыми форматами

Пример проблемы: Файлы программы Lexicon из 90-х годов сейчас не открыть современными редакторами текстов.

Пример решения: Национальные архивы США рекомендуют использовать открытые форматы odt вместо форматов MS Word.

Примеры форматов файлов

Расширение	Название	Вид объекта	Есть открытая спецификация?	Рекомендация к использованию
.PDF	Portable document format	Цифровой текст	Да	Да
.JPG	JPEG (Joint Photographic Experts Group)	Изображение	Да	Да
.DOC	MS Word Document	Цифровой текст	Частично	Да
.WARC	Web ARCive	Веб-сайт	Да	Да
.RAR	RAR Archive File	Архив	Ограниченно	Нет
.ACCDB	Microsoft Access ACCDB File	База данных	Нет	Нет

Это упрощённое описание, подробнее в реестрах форматов файлов.

Реестры и руководства по архивации форматов файлов

• PRONOM — The technical registry (Great Britain)
• Digital Preservation File Format Recommendations (Canada)
• File formats and standards (Digital Preservation Handbook)
• File Formats Assessments (Great Britain)
• File formats wiki (Archive Team community)
• Sustainability of Digital Formats: Planning for Library of Congress Collections (United States)

Этапы и задачи цифровой архивации

Обобщённые ключевые этапы

1. Планирование (planning)
2. Получение/передача (transfer/acquisition)
3. Загрузка контента в хранилище (ingest)
4. Сохранение контента (preserve)
5. Обеспечение доступа (access)

Планирование

• Определиться со стратегией архивации
• Определить виды сохраняемых цифровых объектов
• Выбрать инструменты архивации
• Собрать ссылки, если архивация публичных ресурсов
• Установить общие правила, если "регулируемых ресурсов"

Получение

• Автоматически собирать цифровые ресурсы, когда это возможно
• Организовать техническую инфраструктуру сбора контента
• Организовать приём контента, если его передают вручную

Загрузка контента

• Оформить контент/данные по стандартам архивации
• Перенести собранный контент и данные в долгосрочное хранилище

Сохранение контента

• Добавить контент в каталог
• Извлечь метаданные из сохраненного контента
• Обеспечить долгосрочное распределенное безопасное хранение

Доступ

• Создать интерфейс для доступа к контенту
• Организовать возможность поиска по контенту
• Создать наборы данных на основе контента

Другие задачи

• Сбор и систематизация ссылок на цифровые объекты для сохранения
• Подготовка политик и требований к созданию контента, пригодного для архивации
• Каталогизация и организация поиска
• Извлечение метаданных из собранного контента
• Удаление чувствительной информации (напр. персональных данных)
• Автоматизация сбора данных напрямую из первоисточников
• Разработка требований и стандартизация сбора контента
• Создание инструментов доступа и воспроизведения контента

Пример: Цифровой архив НИУ ВШЭ

Задачи

• Создать цифровой архив НИУ ВШЭ
• Сделать его общедоступным в сети интернет
• На основе архива создать базы данных для курса по цифровой архивации

Пример списка задач по архивации сайтов университета

Планирование:

• Собрать список ссылок на сайты
• Подсчитать и запросить ресурсы для хранения

Получение:

• Написать письма веб-мастерам
• Запустить программы архивации сайтов

Загрузка:

• Загрузить архивы сайтов

Сохранение:

• Извлечь метаданные из файлов
• Каталогизировать собранное

Доступ:

• Создать и опубликовать наборы данных для студентов
• Организовать публичный доступ к архивам

Расширенный список: добавление соцсетей

Планирование:

• Собрать список ссылок на сайты
• Собрать список ссылок на соцсети
• Подсчитать и запросить ресурсы для хранения

Получение:

• Написать письма веб-мастерам
• Запустить программы архивации сайтов
• Запустить программы архивации соцсетей

Загрузка:

• Загрузить архивы сайтов
• Загрузить архивы соцсетей

Сохранение:

• Извлечь метаданные из файлов
• Каталогизировать собранное

Доступ:

• Создать и опубликовать наборы данных для студентов
• Организовать публичный доступ к архивам

Материалы для самостоятельного изучения

• Digital Preservation Handbook
• NARA Digital Preservation Strategy 2022-2026
• UNESCO Charter on Digital Heritage
• UK National archives Digital preservation workflows

Связанные материалы

• Форматы файлов - реестры форматов
• Идентификация форматов - инструменты идентификации
• Регистры форматов - базы данных форматов
• Курс по цифровой архивации - все лекции курса