Internet Archive CLI (ia)
Internet Archive CLI (ia) — официальная утилита командной строки и Python-библиотека internetarchive для работы с archive.org: загрузка файлов, скачивание, поиск по каталогу, управление метаданными. С Wayback Machine (Save Page Now) ia не работает — для этого есть отдельные API (см. ниже).
Документация: archive.org/developers/internetarchive
Зачем нужен архивисту
- Загрузить свои архивы (WARC, WACZ, PDF, медиа) в item на archive.org для долгосрочного публичного хранения.
- Скачать файлы из чужих item для локального анализа.
- Искать по каталогу archive.org и выгружать списки идентификаторов.
- Читать и править метаданные своих item.
- Автоматизировать всё это скриптами — через CLI или Python API.
WARC-файлы, загруженные в item обычным пользователем, хранятся и скачиваются как файлы, но не попадают в Wayback Machine автоматически. Индексация WARC в Wayback делается для коллекций, согласованных с Internet Archive. Если нужно, чтобы страница появилась в Wayback, отправьте её через Save Page Now.
Возможности
Подкоманды ia (версия 5.11.1): configure, upload, download, search, metadata, list, delete, copy, move, tasks, reviews, flag, simplelists, account (только для администраторов).
- Загрузка файлов (
upload) — item создаётся при первой загрузке. - Скачивание (
download) с фильтрами по формату и маске имени. - Поиск (
search) с выбором полей; вывод — JSON по строке на результат. - Метаданные (
metadata) — чтение, изменение, добавление, удаление полей, правка из CSV. - Список файлов в item (
list). - Удаление своих файлов (
delete). - Python API для скриптов.
Когда использовать
✅ Подходит для:
- загрузки своих архивов на archive.org для долгосрочного публичного хранения;
- скачивания материалов из archive.org (фильмы, аудио, документы, WARC из открытых item);
- скриптов автоматизации — регулярные выгрузки и загрузки;
- каталогизации своих коллекций.
❌ Не подходит для:
- архивации текущих веб-страниц — используйте Save Page Now или Browsertrix Crawler;
- локального веб-архива — используйте pywb, Browsertrix Crawler, Wpull;
- работы с Wayback Machine — используйте Wayback API.
Установка
Через pipx или pip (рекомендуется)
pipx install internetarchive
# или
pip install internetarchive
Через Homebrew (macOS, Linux)
brew install internetarchive
Из исходников
git clone https://github.com/jjjake/internetarchive
cd internetarchive
pip install -e .
Зависимости
- Python 3.10+.
- requests, tqdm, urllib3, jsonpatch — устанавливаются автоматически.
Команды и параметры сверены с
ia --helpверсии 5.11.1 (октябрь 2026).
Аутентификация
Для загрузки и изменения метаданных нужна учётная запись archive.org.
Настроить
ia configure
# спросит email и пароль от archive.org и сохранит ключи IA-S3
Проверить ключи: ia configure --check, посмотреть, под какой учётной записью вы работаете: ia configure --whoami.
Файл конфигурации ищется по порядку: путь из переменной IA_CONFIG_FILE, $XDG_CONFIG_HOME/internetarchive/ia.ini (обычно ~/.config/internetarchive/ia.ini), ~/.config/ia.ini, ~/.ia.
Или через переменные окружения
export IA_ACCESS_KEY_ID=your_access_key
export IA_SECRET_ACCESS_KEY=your_secret_key
Ключи можно посмотреть на странице archive.org/account/s3.php.