curl
curl (Client URL) — консольная утилита и библиотека (libcurl) для передачи данных по URL. Поддерживает HTTP, HTTPS, FTP, SFTP, SCP, SMB, LDAP и десятки других протоколов. Это не кроулер, но фундаментальный инструмент для скриптов выгрузки данных, работы с API, диагностики и автоматизации.
Сайт: curl.se
Зачем нужен архивисту
Curl — это «швейцарский нож HTTP». В отличие от Wget, он не умеет рекурсивно обходить сайт, но:
- Делает один запрос с точным контролем заголовков, метода, тела.
- Работает с любым API — JSON, OAuth, GraphQL, multipart.
- Скриптуется идеально — стабильный exit code, прогнозируемый вывод.
- Диагностирует — заголовки, TLS, редиректы, cookies, время.
WARC curl не пишет: для этого используйте Wget (--warc-file) или Python-библиотеку warcio (см. сценарий 6 ниже).
Возможности
- 20+ протоколов: HTTP/1.1, HTTP/2, HTTP/3, HTTPS, FTP, SFTP, SMB, LDAP, MQTT, SMTP, IMAP, GOPHER, FILE и др.
- Любые HTTP-методы: GET, POST, PUT, DELETE, PATCH, HEAD, OPTIONS, CONNECT, TRACE.
- Заголовки и аутентификация: Basic, Digest, NTLM, Bearer, OAuth 2.0, mTLS, AWS SigV4.
- Cookies и сессии с персистентным хранилищем (
-c,-b). - Загрузка файлов: multipart, PUT, resume (
-C -). - Прокси: HTTP, SOCKS4/5, HTTPS через
HTTPS_PROXY. - Сжатие и кодирование: gzip, deflate, brotli, zstd.
- Прогресс-бар, вывод в файл, stdin/stdout pipes.
- Параллельные загрузки (
-Z,--parallel). - Конфигурация через
.curlrcи переменные окружения. - TLS 1.3, проверка сертификатов, клиентские сертификаты.
Когда использовать
✅ Подходит для:
- API-выгрузок (Telegram, VK, YouTube через внутренние API, Notion, Slack).
- Скриптов на bash / Python shell-out.
- Проверки доступности и метаданных URL.
- Загрузки конкретных файлов (PDF, JSON, медиа).
- OAuth-аутентификации с редиректами.
- Проксирования запросов через корпоративный прокси.
❌ Не подходит для:
- Рекурсивного обхода сайтов (используйте Wget, Wpull, Heritrix).
- Записи WARC (используйте Wget с
--warc-fileилиwarcio). - Выполнения JavaScript (используйте Browsertrix, Playwright).
- Автоматической обработки HTML-форм (используйте Mechanize, Selenium).
Установка
Linux
# Debian/Ubuntu
sudo apt-get install curl
# Fedora
sudo dnf install curl
# Arch
sudo pacman -S curl
macOS
Уже установлен, либо:
brew install curl
Windows
- В Windows 10 (начиная с версии 1803) и Windows 11
curl.exeвстроен в систему. Внимание: в Windows PowerShell 5.1 командаcurl— это псевдонимInvoke-WebRequestс другим синтаксисом, поэтому вызывайте именноcurl.exe. - Иначе:
winget install curl.curlили через Chocolatey (choco install curl). - Для WSL —
sudo apt install curl.
Проверка
curl --version
# curl 8.4.0 (x86_64-pc-linux-gnu) libcurl/8.4.0 ...
Использование
Скачать файл
# Скачать с сохранением имени из URL
curl -O https://example.com/file.pdf
# Скачать с указанием имени
curl -o my-report.pdf https://example.com/file.pdf
# Скачать несколько файлов
curl -O https://example.com/a.zip -O https://example.com/b.zip