Shine
Репозиторий ukwa/shine переведён в архив, последние изменения — июнь 2020 года. Рабочего публичного инстанса нет. Для полнотекстового поиска по своим WARC используйте SolrWayback.
Shine — прототип интерфейса для исследования веб-архиво в, который сделали в UK Web Archive (Британская библиотека). По описанию в README, это «прототип UI для исследования веб-архивов на основе Solr». Индекс Solr наполнялся индексатором warc-indexer из проекта ukwa/webarchive-discovery.
- Репозиторий: github.com/ukwa/shine (Apache-2.0, создан в 2013 году).
- Технологии: Java и Scala (Play Framework), JavaScript-интерфейс; позднее в репозиторий добавлены каталог
shine-reactи Docker-файлы. - Бэкенд: Apache Solr с индексом от
warc-indexer.
Чем был интересен
Shine показывал исследователям веб-архив как набор данных, а не только как «машину времени»: полнотекстовый поиск по большой коллекции и раздел Trends с динамикой употребления терминов во времени. Публичная версия работала на webarchive.org.uk/shine с пометкой «исследовательский прототип сервиса поиска по веб-архиву, может быть отключён в любой момент». Её снимки 2015 года есть в Wayback Machine.
Тот же подход — поиск по Solr-индексу, построенному warc-indexer, — использует активно развивающийся SolrWayback Королевской библиотеки Дании.
Что использовать сейчас
| Задача | Инструмент |
|---|---|
| Полнотекстовый поиск по своим WARC, фасеты, графики | SolrWayback + warc-indexer |
| Воспроизведение без поиска | pywb, ReplayWeb.page |
| Аналитика и выборки по WARC | DuckDB-WARC, обработка WARC |
| Вопросы к коллекции на естественном языке (эксперимент) | WARC-GPT |
Ресурсы
- GitHub: ukwa/shine — исходный код (архив).
- GitHub: ukwa/webarchive-discovery —
warc-indexerдля Solr. - UK Web Archive
Связанные материалы
- SolrWayback — актуальный поиск по веб-архиву на Solr.
- pywb — воспроизведение.
- Обработка WARC — инструменты для работы с WARC.
- Формат WARC
- Ландшафт 2026