Перейти к основному содержимому

Shine

Проект в архиве

Репозиторий ukwa/shine переведён в архив, последние изменения — июнь 2020 года. Рабочего публичного инстанса нет. Для полнотекстового поиска по своим WARC используйте SolrWayback.

Shine — прототип интерфейса для исследования веб-архивов, который сделали в UK Web Archive (Британская библиотека). По описанию в README, это «прототип UI для исследования веб-архивов на основе Solr». Индекс Solr наполнялся индексатором warc-indexer из проекта ukwa/webarchive-discovery.

  • Репозиторий: github.com/ukwa/shine (Apache-2.0, создан в 2013 году).
  • Технологии: Java и Scala (Play Framework), JavaScript-интерфейс; позднее в репозиторий добавлены каталог shine-react и Docker-файлы.
  • Бэкенд: Apache Solr с индексом от warc-indexer.

Чем был интересен​

Shine показывал исследователям веб-архив как набор данных, а не только как «машину времени»: полнотекстовый поиск по большой коллекции и раздел Trends с динамикой употребления терминов во времени. Публичная версия работала на webarchive.org.uk/shine с пометкой «исследовательский прототип сервиса поиска по веб-архиву, может быть отключён в любой момент». Её снимки 2015 года есть в Wayback Machine.

Тот же подход — поиск по Solr-индексу, построенному warc-indexer, — использует активно развивающийся SolrWayback Королевской библиотеки Дании.

Что использовать сейчас​

ЗадачаИнструмент
Полнотекстовый поиск по своим WARC, фасеты, графикиSolrWayback + warc-indexer
Воспроизведение без поискаpywb, ReplayWeb.page
Аналитика и выборки по WARCDuckDB-WARC, обработка WARC
Вопросы к коллекции на естественном языке (эксперимент)WARC-GPT

Ресурсы​

Связанные материалы​