Перейти к основному содержимому

CDX Summary

CDX Summary — инструмент Internet Archive, который строит компактную статистику по CDX-индексам больших коллекций: какие хосты, сколько URL, сколько 2xx/3xx/4xx/5xx, распределение по годам, «мертвые» домены.

CDX (Capture Index) — это собственный текстовый индекс Internet Archive, в котором каждая строка описывает один захваченный URL. Через CDX API можно узнать, какие версии страницы есть, а CDX Summary обобщает эти данные по доменам.

Когда использовать​

✅ Подходит, если:

  • нужен быстрый обзор обширной коллекции Internet Archive (миллионы URL);
  • хочется понять, какие домены покрыты хорошо, какие — плохо;
  • нужно подготовить отчёт спонсору или партнёру о состоянии архива;
  • нужна сводная статистика для решения «брать/не брать» домен в работу.

❌ Не подходит:

  • для покадрового анализа отдельных страниц (используйте прямой Wayback CDX API);
  • для не-Internet-Archive коллекций (CDX Summary работает только с IA CDX).

Установка​

Готового дистрибутива нет, но скрипт можно запустить локально через Node.js:

git clone https://github.com/internetarchive/iaux-cdx-summary.git
cd iaux-cdx-summary
npm install

Использование​

Получить статистику по коллекции​

node ./bin/ia-cdx-summary --domain "kremlin.ru" --year 2023

На выходе: список уникальных URL, количество скриншотов, статус-коды и количество «мёртвых» ответов.

Скомандовать через Wayback CDX API​

curl "http://web.archive.org/cdx/search/cdx?url=kremlin.ru&limit=10&output=json"

Совмещение с собственными проектами​

В скрипте используется тот же CDX-сервер, что и у Ruarxive — если вы ведёте локальный архив через pywb или Browsertrix Crawler, CDX Summary работает над «общим» CDX без изменений.

Связанные материалы​

  • Wayback CDX API — низкоуровневый доступ к CDX-индексам.
  • Internet Archive — описание работы Wayback Machine.

Источник​