Перейти к основному содержимому

Wget

GNU Wget — неинтерактивный консольный загрузчик файлов по HTTP, HTTPS и FTP и простой рекурсивный кроулер. С версии 1.14 умеет сразу записывать результат в WARC, поэтому это самый доступный инструмент для базовой веб-архивации.

Сайт: www.gnu.org/software/wget

Эта страница — справочник по флагам и поведению Wget. Пошаговые сценарии (как скачать сайт, как собрать список страниц) — в гайде Wget: сценарии.

Зачем нужен​

Wget не требует Docker, Python, JVM или Node.js: он есть в большинстве дистрибутивов Linux и легко ставится в macOS и Windows.

Типичные задачи:

  • скачать отдельную страницу со всеми ресурсами или небольшой статический сайт;
  • регулярно собирать фиксированный список URL;
  • записать WARC без дополнительных инструментов.

Когда использовать​

✅ Подходит для:

  • статических сайтов (HTML, CSS, изображения без обязательного JavaScript);
  • списков URL из файла;
  • окружений без Python и Docker.

❌ Не подходит для:

  • современных SPA (React, Vue, Angular): Wget не выполняет JavaScript, используйте Browsertrix;
  • сайтов со сложной авторизацией и защитой от ботов;
  • больших обходов с очередями, мониторингом и дедупликацией между сессиями: используйте Heritrix, Brozzler или grab-site.

Установка​

Linux​

# Debian/Ubuntu
sudo apt-get install wget

# Fedora
sudo dnf install wget

# Arch
sudo pacman -S wget

macOS​

В macOS Wget не входит в систему (предустановлен curl). Установка через Homebrew:

brew install wget

Windows​

  • Chocolatey: choco install wget;
  • MSYS2 или Cygwin;
  • WSL (обычный Linux-пакет).

Проверка версии​

wget --version

Для записи WARC нужна версия 1.14 или новее.

Команды на этой странице сверены с wget --help и реальными запусками GNU Wget 1.25.0 (октябрь 2026).

Использование​

Скачать одну страницу со всеми ресурсами (для офлайн-просмотра)​

wget --page-requisites --adjust-extension --convert-links \
--span-hosts --domains=example.com,cdn.example.com \
https://example.com/article/
ФлагЧто делает
-p, --page-requisitesСкачивает CSS, изображения, скрипты, нужные для показа страницы
-E, --adjust-extensionДобавляет .html, .css по MIME-типу
-k, --convert-linksПосле загрузки переписывает ссылки на локальные файлы
-H, --span-hosts + -D, --domainsРазрешает ресурсы с перечисленных доменов (например, CDN)

Зеркалирование сайта​

wget --mirror \
--convert-links \
--adjust-extension \
--page-requisites \
--no-parent \
--restrict-file-names=windows \
--wait=1 --random-wait \
-P ./archive \
https://example.com/

--mirror — сокращение для -N -r -l inf --no-remove-listing: рекурсия без ограничения глубины и режим timestamping (повторный запуск скачивает только изменившиеся файлы).

Запись WARC​

wget --recursive --level=2 --no-parent \
--page-requisites --adjust-extension \
--warc-file=archive --warc-cdx \
--wait=1 --random-wait \
https://example.com/

Результат: archive.warc.gz и archive.cdx (CDX-индекс). Файлы сайта тоже сохраняются на диск; если они не нужны, их можно удалить после сбора.

Флаги WARC:

ФлагЧто делает
--warc-file=ИМЯПисать запросы и ответы в ИМЯ.warc.gz
--warc-cdxСоздать CDX-индекс рядом с WARC
--warc-max-size=1GДелить WARC на части; файлы получат имена ИМЯ-00000.warc.gz, …, плюс ИМЯ-meta.warc.gz
--warc-header="ключ: значение"Добавить строку в запись warcinfo (например, описание коллекции)
--warc-dedup=файл.cdxНе сохранять повторно ответы, перечисленные в CDX прошлого сбора (пишутся revisit-записи)
--no-warc-compressionНе сжимать WARC
--no-warc-keep-logНе сохранять журнал Wget внутрь WARC
--warc-tempdir=КАТАЛОГКаталог для временных файлов

Особенности:

  • с --warc-file Wget отключает --no-clobber и предупреждает об этом;
  • --convert-links меняет только файлы на диске; в WARC остаются исходные ответы сервера;
  • Wget 1.x записывает WARC-Target-URI в угловых скобках. Строгие валидаторы, например warchaeology, считают это ошибкой (проверяйте с --lenient), а инструменты воспроизведения такие файлы обычно читают.

Готовый WARC можно посмотреть в ReplayWeb.page или pywb.

Скачивание списка URL из файла​

# urls.txt: по одному URL на строку
wget --input-file=urls.txt \
--directory-prefix=./archive \
--wait=1 --random-wait

Докачка после обрыва​

# докачать недокачанные файлы
wget --continue --input-file=urls.txt --directory-prefix=./archive

# или: пропустить уже скачанные файлы целиком
wget --no-clobber --input-file=urls.txt --directory-prefix=./archive

Ограничение по типу файлов​

# только HTML и PDF
wget --recursive --level=3 --no-parent \
--accept='html,htm,pdf' \
https://example.com/

--accept и --reject принимают суффиксы или шаблоны имён файлов. Регулярные выражения задаются через --accept-regex и --reject-regex и применяются к полному URL.

Несовместимые и конфликтующие флаги​

СочетаниеЧто произойдёт
--mirror или -N вместе с --no-clobberОшибка: «Can't timestamp and not clobber old files at the same time», Wget не запустится
--no-clobber вместе с --convert-linksПредупреждение, --no-clobber игнорируется
--no-clobber вместе с --warc-fileПредупреждение, --no-clobber отключается
-o/--output-file и -a/--append-outputЭто альтернативы: -o перезаписывает журнал, -a дописывает в него. Указывайте один из них

robots.txt​

При рекурсивной загрузке Wget по умолчанию соблюдает robots.txt (Robot Exclusion Standard), то есть по умолчанию действует robots = on. Отключить можно через -e robots=off. Это решение под вашу ответственность: учитывайте правила сайта и нагрузку на сервер. Подробнее — в руководстве.

Конфигурация​

~/.wgetrc​

# осмысленный User-Agent с контактом
user_agent = Mozilla/5.0 (compatible; ArchiveBot/1.0; +https://example.com/bot)

# задержка между запросами
wait = 1
random_wait = on

# таймауты (секунды)
connect_timeout = 30
read_timeout = 60

# повторы
tries = 5
retry_connrefused = on

Путь к другому файлу настроек задаётся переменной окружения WGETRC:

export WGETRC=/path/to/wgetrc

Cookies передаются флагами --load-cookies=cookies.txt (формат Netscape) и --save-cookies.

Сравнение с другими инструментами​

ИнструментWARCJavaScriptСложностьЛучше всего для
Wget✅ (1.14+)❌Очень низкаяБыстрые разовые загрузки
Wget2❌❌НизкаяПараллельная загрузка, HTTP/2 (без WARC)
Wget-AT✅ (в т. ч. zstd)❌СредняяПроекты ArchiveTeam, Lua-хуки, дедупликация
Wpull / grab-site✅❌СредняяБольшие обходы с WARC, требует старый Python
HTTrack⚠️ через httrack2warc❌НизкаяОфлайн-копия, GUI
Heritrix✅❌ВысокаяБольшие проекты архивирования
Browsertrix✅ WACZ✅СредняяСовременные сайты с JavaScript
SingleFile❌✅НизкаяОдна страница в HTML

GNU Wget 1.x не поддерживает HTTP/2 ни в одной версии. HTTP/2 есть в Wget2, но Wget2 не пишет WARC.

Рекомендации​

1. Ставьте осмысленный User-Agent​

wget --user-agent="Ruarxive/1.0 (https://ruarxive.org)" https://example.com/

Так администраторы сайта поймут, кто и зачем скачивает.

2. Делайте паузы между запросами​

wget --wait=1 --random-wait --recursive --level=2 https://example.com/

--random-wait варьирует паузу от 0,5 до 1,5 значения --wait.

3. Ограничивайте домены​

wget --recursive --span-hosts --domains=example.com,cdn.example.com https://example.com/

Без --span-hosts Wget и так не выходит за пределы стартового хоста. С ним --domains задаёт разрешённый список.

4. Сохраняйте журнал​

wget --output-file=wget.log ...      # новый журнал
wget --append-output=wget.log ... # дописать в существующий

5. Регулярные сборы через cron​

# ежедневно в 3:00 — собрать список URL в WARC с датой в имени
0 3 * * * cd /opt/collector && \
wget --input-file=urls.txt \
--directory-prefix="$(date +\%F)" \
--wait=2 --random-wait \
--warc-file="$(date +\%F)/archive" \
--append-output=/var/log/wget-collector.log

В crontab символ % нужно экранировать (\%). Для повторных сборов того же списка можно передать CDX прошлого запуска в --warc-dedup.

Ограничения​

  • Не выполняет JavaScript: динамический контент не сохранится.
  • Загружает файлы последовательно, в один поток. Для параллельности запускайте несколько процессов на разные списки URL.
  • Нет HTTP/2.
  • Плохо работает со сложной авторизацией: нет браузерного движка.
  • WARC-вывод базовый: нет WACZ и CDXJ. Дедупликация только по CDX прошлого сбора (--warc-dedup).
  • Большие проекты (сотни тысяч URL) лучше отдавать Heritrix, Brozzler или grab-site.

Ресурсы​

Связанные материалы​