Crocoite
PromyLOPh/crocoite закрыт владельцем 25 апреля 2021 года. Последний push в основной ветке — 30 декабря 2019 года. Для нового сбора используйте Browsertrix.
Crocoite снимал страницу через headless Chrome и писал WARC. Автор — Lars-Dominik Braun. Кроме сетевых ответов программа сохраняла снимок DOM после загрузки (HTML без выполнения скриптов при будущем просмотре) и полностраничный скриншот. Это ответ на то, что обычный HTTP-краулер не видит приложение, собранное на JavaScript.
Документация прямо описывает ограничение способа: исходные байты HTTP Crocoite не записывал, а восстанавливал ответ из событий Chrome. Кодировка текста приводилась к UTF-8. Тело ответа при перенаправлении из-за гонки могло не попасть в файл.
Команда из документации проекта
Так запуск описан в usage и в README. Chrome должен быть установлен заранее:
pip install crocoite pywb
crocoite http://example.com/ example.com.warc.gz
Без флага рекурсии сохраняется только адрес из командной строки. Глубина или префикс пути:
crocoite -r 1 https://example.com/ example.com.warc.gz
crocoite -r prefix https://example.com/dir/ example.com.warc.gz
-j N задаёт число одновременных страниц. Быстрый старт в том же README показывает старые команды pywb (wb-manager, wayback). Их не копируйте: актуальный запуск плеера — на странице pywb.
Когда страница ещё полезна
Чтобы понять чужой WARC, снятый Crocoite до 2020 года: внутри могут быть записи со снимком DOM и скриншотом, а не только обычные HTTP-ответы. Для нового обхода тот же класс задач закрывает Browsertrix (поведения, профиль входа, WACZ).