Условия использования сервисов (ToS, robots.txt)
При архивации сайтов и сервисов важно учитывать их правила.
Ниже — позиция проекта и справочная информация. Правовая оценка зависит от конкретной ситуации; при сомнениях проконсультируйтесь с юристом.
robots.txt
Файл robots.txt сообщает автоматическим программам (поисковым ботам, краулерам),
какие разделы сайта владелец просит не обходить. Это техническое соглашение
(RFC 9309), а не нормативный акт; но его соблюдение — признак добросовестного
поведения, и многие инструменты (например, wget при рекурсивной загрузке) соблюдают
его по умолчанию.
Позиция Ruarxive: по умолчанию мы соблюдаем robots.txt и Crawl-delay.
Исключения возможны для сайтов государственных органов и общественно значимых
ресурсов под угрозой исчезновения — такое решение принимается осознанно,
документируется, а сбор ведётся с минимальной нагрузкой на сервер. Игнорирование
robots.txt никогда не означает обхода технических средств защиты.
Как устроен файл и как его читает Wget — в гайде robots.txt для архивиста.
Что делать, если вместо страницы приходит капча или код 403, — в гайде
«Антибот-защита»: обход технической защиты туда не входит.
Terms of Service (ToS)
Правила большинства соцсетей ограничивают или запрещают автоматизированный сбор данных. Нарушение правил площадки может повлечь блокировку аккаунта или IP-адреса и гражданско-правовые претензии со стороны владельца сервиса.
Рекомендуемый порядок:
- Сначала используйте официальные механизмы: API, экспорт данных (Data Takeout), выгрузку собственных данных.
- Если сбор прямо запрещён правилами, оцените риски и общественную значимость материала; при сомнениях откажитесь от сбора или проконсультируйтесь с юристом.
- Никогда не обходите авторизацию, платный доступ, капчи и другие технические ограничения.
Практические особенности площадок:
- Instagram активно блокирует аккаунты, автоматически собирающие данные.
- Telegram ограничивает частоту запросов через API (ошибки FloodWait); при агрессивной выгрузке аккаунт может быть временно ограничен или заблокирован.
- VK требует токен приложения для доступа к API.
Этические ограничения
Помимо правовых требований, Ruarxive применяет внутренние правила:
| Действие | Допустимо? |
|---|---|
| Архивация публичных государственных сайтов | Да |
| Архивация публичных постов в соцсетях | Да, с минимизацией данных |
| Архивация приватных чатов и сообщений других людей | Нет |
| Сбор данных из закрытых групп | Только с согласия участников |
| Взлом аккаунтов и обход двухфакторной аутентификации | Нет |
| Использование чужих украденных cookie-файлов | Нет |
| Обход капч, платного доступа, блокировок | Нет |
| Публикация персональных данных без необходимости | Нет |
Реальные риски
- Блокировка аккаунта — основной практический риск для архивистов соцсетей.
- Временная блокировка IP — при агрессивном сборе.
- Гражданско-правовые претензии — от правообладателей, владельцев сервисов или субъектов персональных данных.
- Административная и уголовная ответственность — возможна, в частности, по статьям о неприкосновенности частной жизни (ст. 137 УК РФ), неправомерном доступе к компьютерной информации (ст. 272 УК РФ), незаконном обороте компьютерной информации с персональными данными (ст. 272.1 УК РФ), участии в деятельности нежелательной организации, включая распространение её материалов (ст. 20.33 КоАП РФ, ст. 284.1 УК РФ). Подробнее — в обзоре раздела.
Что делать при сомнениях
- Оценить, относится ли ресурс к общественно значимым и есть ли риск его исчезновения.
- Проверить, можно ли получить данные официальным путём (API, выгрузка, запрос владельцу).
- Обсудить в Telegram-чате Ruarxive.
- При правовых сомнениях — проконсультироваться с юристом.
- Документировать принятые решения для последующего аудита.