Перейти к основному содержимому

Словарь терминов

Ключевые понятия цифровой архивации, веб-стандартов, форматов и проекта Ruarxive.

Форматы и стандарты​

WARC (Web ARChive)​

Стандартный формат веб-архива (ISO 28500). WARC-файл — последовательность записей; каждая запись состоит из WARC-заголовков (тип, URI, дата, идентификатор, дайджесты) и блока содержимого — например, полного HTTP-ответа с заголовками и телом. Подробнее: WARC.

WARC 1.1​

Текущая версия стандарта — ISO 28500:2017. По сравнению с WARC 1.0 (ISO 28500:2009) новых типов записей нет; основные изменения — допускается точность WARC-Date до долей секунды и добавлены поля WARC-Refers-To-Target-URI и WARC-Refers-To-Date для записей revisit.

WACZ (Web Archive Collection Zipped)​

ZIP-пакет по спецификации Webrecorder: внутри лежат WARC-файлы, индекс CDXJ, список страниц и файл метаданных datapackage.json с контрольными суммами. Удобен для воспроизведения прямо в браузере, например в ReplayWeb.page.

Подпись WACZ (WACZ Signing)​

Криптографическая подпись WACZ-пакета по спецификации Webrecorder «WACZ Signing and Verification», подтверждающая, кто и когда создал архив и что он не менялся. Подписывающий сервер — authsign; подписанные пакеты умеет создавать, например, Scoop (Harvard LIL). Подробнее — WACZ.

CDX​

Индексный формат, описывающий содержимое WARC-файлов: каждая строка — один захват (ключ URL в форме SURT, временная метка, исходный URL, MIME-тип, HTTP-статус, дайджест, длина записи, смещение и имя WARC-файла). Порядок полей задаётся строкой-легендой. Подробнее: CDX.

CDXJ​

Вариант CDX, в котором после ключа SURT и временной метки идёт JSON-объект с остальными полями. Используется в pywb и в WACZ-пакетах.

SURT​

Sort-friendly URI Reordering Transform — запись URL с перевёрнутым доменом (например, org,example)/page), удобная для сортировки и поиска по префиксу в индексах.

ARC​

Предшественник WARC, исторический формат Internet Archive. Ранние коллекции хранятся в файлах .arc.gz. Конвертируется в WARC, например, утилитой arc2warc из пакета warctools.

PRONOM​

Реестр форматов файлов Национального архива Великобритании. Уникальный идентификатор — PUID (например, fmt/40 для Microsoft Word 97–2003). Подробнее: Реестры форматов.

PUID​

PRONOM Unique Identifier — стабильный идентификатор формата файла в реестре PRONOM.

BagIt​

Стандарт упаковки и передачи цифровых материалов (RFC 8493). Каждый «пакет» (bag) содержит данные и манифест контрольных сумм для проверки целостности. Подробнее: BagIt.

PREMIS​

PREservation Metadata: Implementation Strategies — стандарт метаданных сохранности цифровых объектов: события, агенты, права, происхождение. Подробнее: PREMIS.

METS​

Metadata Encoding and Transmission Standard — стандарт структурных метаданных, описывающих связи между файлами в сложных объектах и коллекциях. Подробнее: METS.

IIIF​

International Image Interoperability Framework — набор API для доставки изображений высокого разрешения и их описаний (манифестов). Подробнее: IIIF.

PDF/A​

Семейство стандартов ISO 19005 — PDF для долгосрочного хранения (встроенные шрифты, без шифрования и JavaScript). Подробнее: PDF/A.

JP2 (JPEG 2000)​

Формат изображений с поддержкой сжатия без потерь и прогрессивной загрузки. Широко используется для хранения оцифрованных материалов. Подробнее: JP2.

MBOX​

Текстовый формат хранения email-сообщений, записанных подряд в одном файле. Подробнее: MBOX.

SIARD​

Software Independent Archiving of Relational Databases — формат для долгосрочного хранения реляционных баз данных. Подробнее: SIARD.

MHTML​

MIME HTML — формат хранения веб-страницы в одном файле (HTML и встроенные ресурсы). Поддерживается браузерами на базе Chromium; подходит для сохранения отдельной страницы, но не заменяет WARC: в нём нет HTTP-заголовков и истории запросов. Подробнее: MHTML.

ZIM​

Открытый формат сжатых файлов для офлайн-чтения через Kiwix. Может создаваться из WARC через warc2zim.

OAIS и пакеты SIP / AIP / DIP​

OAIS (Open Archival Information System, ISO 14721) — эталонная модель архива долговременного хранения: функции (приём, хранение, управление данными, администрирование, планирование сохранности, доступ) и информационные пакеты:

  • SIP — Submission Information Package, пакет, передаваемый в архив;
  • AIP — Archival Information Package, пакет, который архив хранит;
  • DIP — Dissemination Information Package, пакет, выдаваемый пользователю.

Инструменты​

Heritrix​

Краулер Internet Archive на Java для масштабной архивации с записью WARC. Требует серьёзных ресурсов и настройки. Подробнее: Heritrix.

Browsertrix​

Браузерный краулер Webrecorder на базе Chromium (Browsertrix Crawler в Docker и облачный сервис Browsertrix). Записывает трафик реального браузера в WARC и упаковывает в WACZ. Подробнее: Browsertrix.

ArchiveWeb.page​

Расширение для браузеров на базе Chromium от Webrecorder: записывает просматриваемые страницы в WARC/WACZ прямо во время просмотра.

HTTrack​

Бесплатная программа для зеркалирования сайтов, есть графический интерфейс. Сохраняет файлы сайта для офлайн-просмотра; начиная с версии 3.49-14 (2026) умеет также писать WARC и WACZ (опция --warc). Подробнее: HTTrack.

Wpull​

Совместимый с wget загрузчик на Python с записью WARC (автор — Christopher Foo; используется в ArchiveTeam). Развитие практически остановлено; последний релиз на PyPI — 2.0.1 (2016), на современных версиях Python не устанавливается без доработок. Подробнее: Wpull.

Wget​

Классическая консольная утилита GNU для скачивания по HTTP(S)/FTP; начиная с версии 1.14 умеет записывать WARC (--warc-file). Подробнее: Wget — справочник, сценарии сбора.

yt-dlp​

Форк youtube-dl для скачивания видео и аудио с тысяч сайтов. Сохраняет медиафайлы и метаданные, но не WARC. Подробнее: yt-dlp.

Instaloader​

Python-утилита для выгрузки публичных профилей, постов и метаданных Instagram. Подробнее: Instagram.

Siegfried​

Быстрый инструмент идентификации форматов файлов на Go (по сигнатурам PRONOM). Подробнее: Идентификация форматов.

ReplayWeb.page​

Браузерный плеер для воспроизведения WARC/WACZ-архивов. Работает на стороне клиента, без отправки данных на сервер. Подробнее: Как открыть WARC.

twarc​

Python-библиотека и утилита для сбора данных через API Twitter/X (для API v2 — twarc2). Подробнее: twarc.

tgarc / tdl / Telethon​

Инструменты для архивации Telegram: tgarc — утилита Ruarxive (tgarc save), tdl — загрузчик на Go, Telethon — Python-библиотека для Telegram API.

Загрузчик изображений и галерей с сотен сайтов. Подробнее: gallery-dl.

Auto-Archiver (Bellingcat)​

Инструмент для архивации ссылок из Google Sheets и других источников с сохранением медиа и метаданных. Подробнее: Auto-Archiver.

Waybackpy​

Python-обёртка для API Wayback Machine. Подробнее: Waybackpy.

PastPage​

Расширение браузера, которое ищет сохранённые копии недоступной или изменившейся страницы сразу в нескольких веб-архивах и кешах. Подробнее: PastPage.

Warchaeology​

Консольная утилита Национальной библиотеки Норвегии для просмотра, проверки и обработки WARC-файлов. Подробнее: Warchaeology.

DuckDB и веб-архивы​

Расширения DuckDB для SQL-запросов к WARC-файлам и к CDX-индексам Wayback Machine и Common Crawl. Подробнее: DuckDB-WARC.

WARC-GPT​

Экспериментальный RAG-инструмент Harvard LIL для анализа коллекций WARC с помощью языковых моделей. Подробнее: WARC-GPT.

WARC-Safe​

Инструмент Национальной библиотеки Люксембурга для поиска вирусов и NSFW-материалов в WARC-файлах. Подробнее: WARC-Safe.

Crocoite​

Экспериментальный краулер на базе Chrome (автор — Lars-Dominik Braun), сохранявший страницы в WARC вместе с DOM-снимками и скриншотами. Репозиторий в архиве с 2019 года.

Conifer​

Хостинговый сервис персональной веб-архивации Rhizome (бывший Webrecorder.io). С декабря 2025 года закрыта регистрация, с мая 2026 года сервис работает только на чтение. Замену платформы приложением-«надгробием», через которое останутся доступны существующие коллекции, перенесли с июня на конец 2026 года. Для новых захватов используйте Browsertrix или ArchiveWeb.page.

WAIL​

Web Archiving Integration Layer — настольное приложение (автор — Mat Kelly, ODU), объединяющее краулер Heritrix и средство воспроизведения в одном интерфейсе.

Warcprox​

MITM-прокси, записывающий проходящий через него HTTP/S-трафик в WARC. Используется вместе с краулером Brozzler. Подробнее: Warcprox.

Brozzler​

Распределённый браузерный краулер Internet Archive; состояние обхода хранит в RethinkDB, запись WARC ведёт через warcprox. Подробнее: Brozzler.

Программные термины​

Краулер (web crawler)​

Программа, систематически обходящая веб-страницы и сохраняющая их содержимое.

Сид (seed)​

Начальный URL, с которого краулер начинает обход сайта.

Robots.txt​

Файл в корне сайта с указаниями для автоматических программ о том, какие разделы не следует обходить (RFC 9309). Позиция проекта — в разделе Условия использования.

Wayback Machine​

Сервис Internet Archive для доступа к веб-архивам: позволяет просматривать прежние версии страниц. Подробнее: Wayback Machine API.

Memento (RFC 7089)​

Протокол «путешествий во времени» для веба: определяет TimeGate (выбор снимка по дате), TimeMap (список всех снимков URL) и заголовок Memento-Datetime. Подробнее: Memento.

Memento-агрегатор​

Сервис, который опрашивает несколько Memento-совместимых архивов и объединяет их TimeMap. Публичный агрегатор timetravel.mementoweb.org в октябре 2026 года не отвечает; агрегатор можно запустить самостоятельно, например MemGator.

Save Page Now​

Функция Internet Archive для сохранения страницы по URL. Программный доступ: Wayback Machine API.

CDX API​

HTTP-интерфейс к индексу захватов Wayback Machine: web.archive.org/cdx/search/cdx. Аналогичный интерфейс есть у Common Crawl (index.commoncrawl.org).

WARC-Payload-Digest​

Хеш полезной нагрузки (тела HTTP-ответа) в WARC-записи, обычно SHA-1 в кодировке Base32. Используется для дедупликации.

WARC-Record-ID​

Глобально уникальный идентификатор записи в виде URI, обычно <urn:uuid:...>.

WARC-Type​

Тип WARC-записи: warcinfo, request, response, resource, metadata, revisit, conversion, continuation. Подробнее — WARC.

Revisit-запись​

Запись типа revisit сообщает, что повторно полученный ресурс не изменился, и не хранит его тело заново. Профили: identical-payload-digest (совпал дайджест содержимого) и server-not-modified (сервер ответил «не изменилось»). Ссылка на исходную запись — через поля WARC-Refers-To, WARC-Refers-To-Target-URI и WARC-Refers-To-Date; полное содержимое остаётся в первой (более ранней) записи response.

Replay (воспроизведение)​

Отдача страницы из архива так, как она выглядела при сохранении. Выполняется через pywb, ReplayWeb.page, OpenWayback.

Capture (захват)​

Сохранение содержимого вместе с HTTP-контекстом в WARC. Выполняется, например, Browsertrix, wget, Heritrix.

Индекс (index)​

Структура данных для быстрого поиска записей в WARC-файлах. Формат — CDX или CDXJ. Создаётся, например, утилитой cdxj-indexer или средствами pywb.

ActivityPub​

Протокол децентрализованных социальных сетей (рекомендация W3C). Используется Mastodon и другими сервисами федиверса.

AT Protocol​

Протокол социальной сети Bluesky. Пользователь идентифицируется постоянным DID (did:plc:... или did:web:...) и человекочитаемым хендлом — доменным именем (например, user.bsky.social).

Стандарты архивации​

ISO 14721​

Стандарт OAIS (см. выше).

ISO 28500​

Стандарт WARC. Текущая редакция — ISO 28500:2017 (WARC 1.1).

RFC 7089​

Memento — протокол доступа к прежним версиям веб-ресурсов.

RFC 8493​

BagIt — формат упаковки цифровых материалов.

RFC 5005​

Feed Paging and Archiving — постраничная выдача и архивы лент Atom/RSS.

RFC 9309​

Robots Exclusion Protocol — стандарт файла robots.txt.

NDSA Levels of Digital Preservation​

Модель National Digital Stewardship Alliance для оценки программы цифровой сохранности: матрица из пяти функциональных областей (хранение, целостность, контроль доступа, метаданные, содержимое) и четырёх уровней (в версии 2.0 — «знать», «защищать», «отслеживать», «поддерживать» свой контент). Версия 2.0 вышла в 2019 году, версия 2.1 — в марте 2026 года. Подробнее: NDSA Levels.

Проект Ruarxive​

Проактивная архивация​

Архивация до исчезновения ресурса. Рекомендуемый подход.

Реактивная архивация​

Попытки архивировать после исчезновения или в момент закрытия ресурса. Часто удаётся сохранить лишь часть.

Коллекция (collection)​

Группа архивов, объединённых тематически или принадлежащих одной кампании.

Зеркало​

Копия архива в другом месте для надёжности. Правило 3-2-1: 3 копии, на 2 разных типах носителей, 1 — в другом месте.

Юридические термины​

CC BY 4.0​

Лицензия Creative Commons, разрешающая использование с указанием авторства.

CC0 1.0​

Отказ правообладателя от прав в максимально допустимой законом степени.

ODbL​

Open Data Commons Open Database License — лицензия для баз данных.

GDPR​

General Data Protection Regulation — регламент ЕС о защите персональных данных.

152-ФЗ​

Федеральный закон РФ «О персональных данных». Для распространения персональных данных с 01.03.2021 нужно отдельное согласие субъекта (ст. 10.1). Подробнее: Персональные данные.

ToS (Terms of Service)​

Условия использования сервиса или платформы. Подробнее: Условия использования.

Fair use​

Доктрина права США, допускающая ограниченное использование произведений без разрешения правообладателя. В праве РФ её нет: вместо неё действует закрытый перечень случаев свободного использования (ст. 1273–1280 ГК РФ, в том числе ст. 1274 о цитировании и ст. 1275 о библиотеках и архивах). Подробнее: Авторское право.

Снятие с публикации (takedown)​

Процедура снятия архивной копии с публичного доступа по запросу правообладателя или субъекта данных.

Технические концепции​

Потоковая обработка (streaming)​

Обработка файла по частям без полной загрузки в память. Принципиально для WARC объёмом в десятки и сотни гигабайт.

Шардирование (sharding)​

Разбиение большого набора данных на части для параллельной обработки.

Дедупликация (dedup)​

Отказ от повторного хранения одинакового содержимого; в WARC реализуется записями revisit по совпадению дайджеста.

Удаление шаблонных блоков (boilerplate removal)​

Удаление из HTML повторяющихся блоков (меню, подвал, боковые панели) для извлечения основного текста.

OCR (Optical Character Recognition)​

Распознавание текста на изображениях (сканы, PDF без текстового слоя).

Извлечение (extract)​

Получение конкретной записи или подмножества записей из большого WARC.

Hash chain​

Последовательность хешей, где каждый зависит от предыдущего; позволяет проверить, что цепочка записей не изменялась.

Проверка неизменности (fixity check)​

Регулярная проверка контрольных сумм, подтверждающая, что данные не изменились.

Холодное хранение (cold storage)​

Дешёвое долговременное хранение с медленным доступом (например, Amazon S3 Glacier). Подходит для архивов, к которым редко обращаются.

Горячее хранение (hot storage)​

Быстрое хранилище для часто используемых данных (дороже за гигабайт).

Сообщества и организации​

IIPC​

International Internet Preservation Consortium — международный консорциум организаций, занимающихся веб-архивацией: развивает стандарты (в том числе WARC), инструменты и проводит конференции.

ArchiveTeam​

Волонтёрское сообщество, проводящее экстренную архивацию закрывающихся сервисов. Подробнее: ArchiveTeam.

Common Crawl​

Некоммерческая организация, ежемесячно публикующая открытые веб-краулы (порядка 2 млрд страниц и десятков терабайт WARC за краул). Подробнее: Common Crawl.

LOCKSS​

Lots Of Copies Keep Stuff Safe — программа Библиотек Стэнфордского университета и одноимённое ПО для распределённого хранения: несколько независимых узлов хранят копии и регулярно сверяют их между собой.

Архитектура архивации​

Ненаправленный веб-архив​

Веб-архив, который ведёт себя как поисковая система: от набора стартовых ссылок обходит сайты, ориентируясь на число ссылок на страницы. Даёт максимальную широту охвата, но неполную глубину (видео, аудио, архивы и многие изображения не собираются). Примеры: Common Crawl, Wayback Machine. См. публикацию #21 (21.03.2022).

Сфокусированный веб-архив​

Веб-архив с избирательным охватом: собираются сайты определённой страны, темы, события или организаций. Примеры из той же публикации: UK Web Archive (совместный проект шести библиотек обязательного экземпляра Великобритании и Ирландии), UK Government Web Archive (Национальный архив Великобритании), Webarchiv Österreich, Australian Web Archive.

Ajax-сайт​

Сайт, в котором основное содержимое подгружается в браузер через JavaScript (XHR, fetch) после загрузки HTML-оболочки. В исходном HTML содержимого нет — оно появляется только после выполнения скриптов. Поэтому wget и wpull не видят содержимого. См. Архивация динамических сайтов.

Неархивируемое пространство​

Платформа или сообщество, контент которой не поддаётся открытой архивации, потому что:

  • контент недоступен без авторизации;
  • нет HTTP-адресов для анонимного чтения;
  • поисковики и Internet Archive не индексируют содержимое;
  • нет выгрузки данных (DTO) даже для собственных материалов.

Пример: мессенджер MAX. Термин использован в публикации #175 от 15.12.2025.

Анти-индексация​

Технические меры сайта (фильтрация по IP и географии, отрисовка только через JavaScript, капчи), из-за которых внешние краулеры и архивные сервисы (Internet Archive) не могут сохранить содержимое. С февраля 2022 года многие сайты госорганов РФ закрыты для обхода с нероссийских IP-адресов (см. публикацию #113). Подробнее: Исчезающие российские ресурсы.

Data-take-out (DTO)​

Выгрузка пользователем своих данных из платформы (соцсети, мессенджера). Различают:

  • Собственный DTO — экспорт средствами самой платформы (экспорт Telegram Desktop, Google Takeout, выгрузка данных Facebook).
  • Сторонний DTO — выгрузка внешними инструментами (instaloader, gallery-dl, yt-dlp).
  • Отсутствие DTO — платформа не даёт способа выгрузить данные.

«Хрупкий архив»​

Проект Музея современного искусства «Гараж», представленный в дискуссии о цифровом сохранении культурного наследия на Конференции по цифровым архивам 19.05.2022 (публикация #52; см. также Конференции и события).

См. также​