Перейти к основному содержимому

Условия использования сервисов (ToS, robots.txt)

При архивации сайтов и сервисов важно учитывать их правила.

Это не юридическая консультация

Ниже — позиция проекта и справочная информация. Правовая оценка зависит от конкретной ситуации; при сомнениях проконсультируйтесь с юристом.

robots.txt​

Файл robots.txt сообщает автоматическим программам (поисковым ботам, краулерам), какие разделы сайта владелец просит не обходить. Это техническое соглашение (RFC 9309), а не нормативный акт; но его соблюдение — признак добросовестного поведения, и многие инструменты (например, wget при рекурсивной загрузке) соблюдают его по умолчанию.

Позиция Ruarxive: по умолчанию мы соблюдаем robots.txt и Crawl-delay. Исключения возможны для сайтов государственных органов и общественно значимых ресурсов под угрозой исчезновения — такое решение принимается осознанно, документируется, а сбор ведётся с минимальной нагрузкой на сервер. Игнорирование robots.txt никогда не означает обхода технических средств защиты. Как устроен файл и как его читает Wget — в гайде robots.txt для архивиста. Что делать, если вместо страницы приходит капча или код 403, — в гайде «Антибот-защита»: обход технической защиты туда не входит.

Terms of Service (ToS)​

Правила большинства соцсетей ограничивают или запрещают автоматизированный сбор данных. Нарушение правил площадки может повлечь блокировку аккаунта или IP-адреса и гражданско-правовые претензии со стороны владельца сервиса.

Рекомендуемый порядок:

  1. Сначала используйте официальные механизмы: API, экспорт данных (Data Takeout), выгрузку собственных данных.
  2. Если сбор прямо запрещён правилами, оцените риски и общественную значимость материала; при сомнениях откажитесь от сбора или проконсультируйтесь с юристом.
  3. Никогда не обходите авторизацию, платный доступ, капчи и другие технические ограничения.

Практические особенности площадок:

  • Instagram активно блокирует аккаунты, автоматически собирающие данные.
  • Telegram ограничивает частоту запросов через API (ошибки FloodWait); при агрессивной выгрузке аккаунт может быть временно ограничен или заблокирован.
  • VK требует токен приложения для доступа к API.

Этические ограничения​

Помимо правовых требований, Ruarxive применяет внутренние правила:

ДействиеДопустимо?
Архивация публичных государственных сайтовДа
Архивация публичных постов в соцсетяхДа, с минимизацией данных
Архивация приватных чатов и сообщений других людейНет
Сбор данных из закрытых группТолько с согласия участников
Взлом аккаунтов и обход двухфакторной аутентификацииНет
Использование чужих украденных cookie-файловНет
Обход капч, платного доступа, блокировокНет
Публикация персональных данных без необходимостиНет

Реальные риски​

  • Блокировка аккаунта — основной практический риск для архивистов соцсетей.
  • Временная блокировка IP — при агрессивном сборе.
  • Гражданско-правовые претензии — от правообладателей, владельцев сервисов или субъектов персональных данных.
  • Административная и уголовная ответственность — возможна, в частности, по статьям о неприкосновенности частной жизни (ст. 137 УК РФ), неправомерном доступе к компьютерной информации (ст. 272 УК РФ), незаконном обороте компьютерной информации с персональными данными (ст. 272.1 УК РФ), участии в деятельности нежелательной организации, включая распространение её материалов (ст. 20.33 КоАП РФ, ст. 284.1 УК РФ). Подробнее — в обзоре раздела.

Что делать при сомнениях​

  1. Оценить, относится ли ресурс к общественно значимым и есть ли риск его исчезновения.
  2. Проверить, можно ли получить данные официальным путём (API, выгрузка, запрос владельцу).
  3. Обсудить в Telegram-чате Ruarxive.
  4. При правовых сомнениях — проконсультироваться с юристом.
  5. Документировать принятые решения для последующего аудита.