Browsertrix
Browsertrix — семейство инструментов для веб-архивирования от команды Webrecorder. В основе — Browsertrix Crawler: краулер, который открывает страницы в настоящем браузере (Chromium/Brave) и записывает весь сетевой трафик. Это позволяет сохранять динамические сайты, которые плохо архивируются классическими инструментами вроде Heritrix или Wget.
Зачем нужен Browsertrix?
Многие современные сайты (соцсети, SPA-приложения) подгружают контент JavaScript-ом. Классические краулеры получают только пустой HTML-каркас.
Browsertrix Crawler запускает браузер в изолированном Docker-контейнере, выполняет на странице «поведения» (прокрутка, автовоспроизведение, клики) и записывает трафик в WARC, а при необходимости упаковывает результат в WACZ.