Перейти к основному содержимому

Obelisk

Obelisk — Go-библиотека и CLI для сохранения веб-страницы в один HTML-файл со всеми ресурсами внутри. Автор — Radhi Fadlillah, лицензия MIT. Obelisk написан для read-it-later сервиса Shiori и заменил старый пакет автора go-shiori/warc. Идея взята у monolith.

Сайт: github.com/go-shiori/obelisk

Возможности​

  • Встраивает в один HTML5-документ CSS, изображения, JavaScript и другие ресурсы.
  • Внешние скрипты и стили вставляет инлайн (script/style), а не как base64 data-URL. Так страницы чаще работают, а файл меньше.
  • По умолчанию запрещает архивной копии обращаться к внешним адресам через Content Security Policy.
  • Скачивает ресурсы параллельно (по умолчанию до 10 одновременно).
  • Принимает cookies в формате Netscape: можно сохранять страницы, доступные после входа.
  • Если URL ведёт не на HTML (например, на PDF), сохраняет файл как есть.
  • Работает и как CLI, и как Go-пакет.

Obelisk делает обычные HTTP-запросы и не запускает браузер. Страницы, которые строятся JavaScript на клиенте (SPA), он сохранит в том виде, в каком их отдал сервер.

Установка​

Готовые бинарники — на странице релизов (последний релиз v0.91 от 2020 года; код в репозитории обновлялся позже). Сборка свежей версии из исходников (нужен Go 1.21+):

go install github.com/go-shiori/obelisk/cmd/obelisk@latest

Бинарник появится в $(go env GOPATH)/bin/obelisk. Официального Docker-образа нет.

Команды сверены с obelisk -h сборки из ветки master (октябрь 2026).

Использование CLI​

# одна страница; без -o имя файла сгенерируется в текущем каталоге
obelisk https://example.com -o page.html

# несколько страниц из файла (по одному URL в строке), со сжатием gzip
obelisk -i urls.txt -o ./archive/ -z

# без JavaScript и без встроенных iframe
obelisk --no-js --no-embeds https://example.com -o page.html

# без изображений, аудио и видео
obelisk --no-medias https://example.com -o page.html

# с cookies (файл Netscape, например выгруженный из браузера)
obelisk -c cookies.txt https://example.com/private -o private.html

# вывод в stdout (только для одного URL)
obelisk https://example.com -o - > page.html

Основные флаги:

ФлагНазначение
-o, --outputФайл или каталог для результата; - — stdout
-i, --inputФайл со списком URL
-z, --gzipСжать результат gzip
-c, --load-cookiesФайл cookies в формате Netscape
--no-js, --no-css, --no-medias, --no-embedsНе включать скрипты, стили, медиа, встроенные элементы (iframe)
-t, --timeoutТаймаут запроса в секундах (по умолчанию 60)
-r, --retriesЧисло повторов запроса (по умолчанию 3)
-u, --user-agentСвой User-Agent
--max-concurrent-downloadЧисло параллельных загрузок (по умолчанию 10)
--insecureНе проверять TLS-сертификат
--skip-resource-url-errorНе прерываться на ошибках загрузки ресурсов

Если указан -o, а URL несколько, Obelisk сам сгенерирует имена файлов и сохранит их в каталог из -o.

Использование как Go-пакета​

go get github.com/go-shiori/obelisk

Пример по examples/basic.go: параметры архивации задаются в структуре Archiver, адрес страницы — в Request.

package main

import (
"context"
"log"
"os"
"time"

"github.com/go-shiori/obelisk"
)

func main() {
arc := obelisk.Archiver{
EnableLog: true,
UserAgent: "RuarxiveBot/1.0",
RequestTimeout: 60 * time.Second,
DisableJS: true,
}
arc.Validate()

result, contentType, err := arc.Archive(context.Background(), obelisk.Request{
URL: "https://example.com",
})
if err != nil {
log.Fatal(err)
}
log.Println("content type:", contentType)

if err := os.WriteFile("page.html", result, 0o644); err != nil {
log.Fatal(err)
}
}

Другие поля Archiver: DisableCSS, DisableEmbeds, DisableMedias, MaxConcurrentDownload, MaxRetries, SkipResourceURLError, Transport. В Request можно передать cookies (Cookies []*http.Cookie) или уже загруженный HTML (Input io.Reader). Полное описание API — на pkg.go.dev.

Сравнение с другими инструментами​

ИнструментЯзыкВыполняет JSCLIБиблиотека
ObeliskGo❌✅✅ Go
monolithRust❌✅✅ Rust (crate)
SingleFileJavaScript✅ (через браузер)✅ single-file-cli❌
WgetC❌✅❌

Obelisk удобен, если архивация встраивается в Go-приложение, или если нужен один статический бинарник без Node.js и браузера. Для страниц, которым обязательно нужен JavaScript, берите SingleFile. Для рекурсивного обхода сайта и записи WARC — Wget или Browsertrix.

Ограничения​

  • Нет выполнения JavaScript: SPA сохраняются не полностью.
  • Нет рекурсивного обхода: только перечисленные страницы.
  • Результат — HTML, а не WARC: HTTP-заголовки и исходные ответы сервера не сохраняются.
  • Проект развивается медленно: последний тегированный релиз — 2020 года.

Ресурсы​

Связанные материалы​