Internet Archive
Internet Archive — некоммерческая цифровая библиотека, основанная Брюстером Кейлом в 1996 году. Это крупнейший в мире веб-архив; кроме Wayback Machine в нём хранятся оцифрованные книги, аудио, видео, программы и наборы данных.
Wayback Machine
Wayback Machine — основной инструмент для просмотра сохранённых версий веб-страниц. В октябре 2025 года Internet Archive объявил, что в Wayback Machine сохранено более 1 трлн веб-страниц.
Save Page Now — добавить страницу
Любой пользователь может сохранить страницу через web.archive.org/save. Снимок остаётся доступным, если не будет снят по обоснованному запросу.
Программный доступ: см. Wayback Machine API — Save Page Now, CDX, Availability, Memento.
Доступ из России
archive.org уже попадал под блокировки в РФ: в октябре 2014 года и в июне 2015 года из-за отдельных страниц, внесённых в реестр запрещённых сайтов, у части провайдеров переставал открываться весь сайт. В мае 2022 года Роскомнадзор составил административный протокол в отношении Internet Archive за отказ удалить запрещённый в РФ контент (публикация #51). Если сервис недоступен, используйте национальные веб-архивы или обратитесь к коллегам в чате Ruarxive. На archive.today как замену не рассчитывайте: в 2026 году его оператор менял сохранённые снимки, а в части российских сетей сервис открывается со страницей блокировки (подробнее).
Инциденты и судебные споры
- Октябрь 2024 года — утечка базы около 31 млн учётных записей пользователей и длительные DDoS-атаки, из-за которых сервис был периодически недоступен (публикация #138). Если у вас есть аккаунт, смените пароль.
- Hachette v. Internet Archive — иск издательств к про грамме цифровой выдачи книг; в сентябре 2024 года апелляционный суд оставил в силе решение против Internet Archive.
- Great 78 Project — иск звукозаписывающих компаний из-за оцифровки пластинок на 78 оборотов; к весне 2025 года сумма требований выросла примерно до 700 млн долларов (публикация #154). В сентябре 2025 года стороны заключили конфиденциальное мировое соглашение, в октябре 2025 года дело прекращено.
Эти истории — довод в пользу того, чтобы не полагаться на одно хранилище.
Работа с коллекциями через ia CLI
archive.org предоставляет S3-совместимый API для загрузки и скачивания файлов; удобнее всего работать с ним через утилиту ia из Python-пакета internetarchive.
Найти записи коллекции
pip install internetarchive
# Сколько записей в коллекции «Эха Москвы»
ia search 'collection:echo-of-moscow' --num-found
# Только идентификаторы
ia search 'collection:echo-of-moscow' --itemlist
Скачать архив
# Показать ссылки на файлы записи, не скачивая
ia download --dry-run echomskru-12tango
# Скачать все mp3 одной программы
ia download echomskru-12tango --glob '*.mp3'
Загрузить свой WARC
ia configure # один раз: вход в аккаунт archive.org
ia upload my-site-2026-10 my-site.warc.gz \
--metadata="mediatype:data" \
--metadata="title:Архив сайта my-site.example, октябрь 2026" \
--metadata="date:2026-10-12"
Загруженный WARC-файл становится доступен для скачивания, но, как правило, не появляется в Wayback Machine. Поле licenseurl указывайте, только если вы правообладатель содержимого (см. ниже). Добавлять записи в чужие коллекции нельзя без прав на эту коллекцию.
Команды сверены с
ia --helpверсии 5.11.1 (октябрь 2026).
Подробности — Internet Archive CLI (ia).
Наборы данных большого объёма
Многие записи содержат крупные файлы (tar.gz, WARC, ZIP). Список файлов и способы скачивания — в разделе «DOWNLOAD OPTIONS» на странице каждой записи.
API и протоколы
| Протокол | Зачем | Документация |
|---|---|---|
| Интерфейс Wayback | Просмотр снимков | web.archive.org |
| Save Page Now | Сохранить страницу | Wayback Machine API |
| CDX API | Поиск по индексу снимков | Wayback Machine API |
| Availability API | Есть ли снимок? | Wayback Machine API |
| Memento (RFC 7089) | Стандартный доступ к прежним версиям | Memento |
| S3-совместимый API | Загрузка и скачивание | ia CLI |
Ruarxive и Internet Archive
Часть архивов Ruarxive загружена в Internet Archive. Это дополнительная страховка: данные хранятся в двух независимых инфраструктурах.
| Ресурс | Адрес |
|---|---|
| Аккаунт Ruarxive на archive.org | archive.org/details/@ruarxive |
| Коллекция «Эхо Москвы» (медиаархив передач) | archive.org/details/echo-of-moscow |
| Отчёты Счётной палаты РФ (публикация #89) | archive.org/details/achgovru-checks |
| Список всех архивов Ruarxive | cdn.ruarxive.org/public/allarchives.csv |
Отдельной коллекции ruarxive на archive.org нет: материалы проекта находятся в аккаунте @ruarxive и в тематических коллекциях.
Ограничения
- Охват определяется цитируемостью. Wayback Machine обходит веб, ориентируясь на ссылки; страница, на которую никто не ссылается, может не попасть в архив. Для региональных и малоизвестных сайтов лучше делать собственный архив.
- Не всё сохраняется. Многие мультимедийные файлы, архивы и документы не собираются при обычном обходе.
- Сайты, закрытые для внешних краулеров. Многие сайты госорганов РФ с 2022 года недоступны с нероссийских IP-адресов, поэтому новые снимки в IA не появляются (публикация #113).
- Ограничение частоты запросов. Save Page Now и CDX API ограничивают частоту; при массовых запросах возможны ответы 429 и временные блокировки.
- Исключения по запросу. Владельцы сайтов могут закрыть доступ краулеру IA или запросить исключение снимков.
Когда использовать Internet Archive
✅ Подходит:
- Международные ресурсы и СМИ.
- Долгосрочное хранение собственных архивов как дополнительная копия.
- Восстановление давно исчезнувшего сайта.
- Поиск через CDX/Memento в существующих снимках.
❌ Не подходит:
- Систематическая архивация текущих региональных сайтов — лучше собственный краулер.
- Хранение чувствительных данных (персональные данные, медицинские записи) — загруженное в IA становится публичным.
- Массовый автоматический сбор через Save Page Now — упирается в ограничения частоты.
- Юридически значимая фиксация — в РФ для этого обычно используют нотариальный осмотр сайта; см. также Perma.cc.