Антибот-защита и архивация
Сайт может отказаться отвечать автоматической программе: показать капчу, вернуть 403 или отдать пустую страницу вместо материалов. Для архивиста это граница, а не задача «найти способ всё равно скачать».
Обход капчи, платного доступа, авторизации и других технических ограничений в Ruarxive не используется. Так записано в условиях использования сервисов. Эта страница не описывает приёмы обхода.
Что видно в архиве, если защиту не обходить
В WARC остаётся тот ответ, который сервер реально отдал: страница с капчей, код 403, короткая заглушка. Такой файл честно фиксирует отказ. Подменять его «успешным» снимком, добытым в обход защиты, нельзя.
С февраля 2022 года многие сайты органов власти в России закрыты для обхода с нероссийских IP и отвечают ошибкой внешним архивам (#105, #150). Internet Archive из-за этого не сохраняет часть региональных сайтов или сохраняет их с ошибками (#170). Практический вывод канала: снимать копию оттуда, откуда сайт открывается обычному посетителю, и не обходить при этом капчу и авторизацию.
Что можно сделать вместо обхода
- Открыть сайт как посетитель. Если страница доступна в обычном браузере без обхода защиты, её можно сохранить расширением ArchiveWeb.page или Browsertrix в том же режиме, в каком её видит человек. Подделка отпечатка браузера, чтобы проскочить проверку, сюда не относится.
- Снизить нагрузку. Частые параллельные запросы сами вызывают временный отказ. Паузы и лимит скорости описаны в стратегиях сбора. Это вежливость к серверу, а не способ спрятать краулер.
- Взять данные официальным путём. REST API WordPress (wparc), открытый API портала, выгрузка своего аккаунта (Data Take-Out).
- Попросить копию у владельца или проверить, нет ли её в Wayback Machine и в таблице коллекций.
- Записать отказ. URL, дата, код ответа и скриншот заглушки нужны, чтобы позже не принять пустой архив за полный.
Вход в свой аккаунт, если раздел и так вам доступен, описан отдельно: архивация после входа. Это не обход защиты.
Как отличить защиту от обычной ошибки
| Чт о видите | Скорее всего |
|---|---|
| Один и тот же URL то открывается, то отвечает 429 или 503 | Сайт просит реже ходить. Увеличьте паузу и повторите позже |
robots.txt запрещает путь, краулер его пропускает | Правило для программ, см. robots.txt |
| Страница капчи или проверка «вы не робот» на всех адресах | Техническая защита. Обход не используется |
| 403 только с зарубежного адреса, из обычной сети в России сайт открыт | Ограничение по сети. Снимайте копию там, где сайт открывается посетителю, защиту не обходите |
| 404 и пустой новый сайт | Ресурс уже снят или переехал. Ищите старую копию, а не способ «достучаться» |