Условия использования сервисов (ToS, robots.txt)

При архивации сайтов и сервисов важно учитывать их правила.

robots.txt

Файл robots.txt сообщает поисковым ботам, какие разделы сайта можно индексировать. Однако robots.txt:

Имеет рекомендательный, а не обязывающий характер — это не правовой запрет.
Не применим к исследовательскому сбору данных (научное и журналистское использование имеет приоритет).
Не применяется к архивации в смысле backstop для культурного наследия.

Ruarxive обычно соблюдает robots.txt для коммерческих сервисов, но не для архивации государственных сайтов или материалов под угрозой исчезновения.

ToS большинства соцсетей формально запрещают массовый сбор данных. На практике:

Архивисты работают в «серой зоне» — ToS нарушается, но преследование единичных исследователей и волонтёров крайне редко.
Instagram активно банит аккаунты, агрессивно собирающие данные.
Telegram толерантен к архивации через публичный API.
VK требует токен приложения для доступа к API.

Помимо правовых ограничений, Ruarxive применяет внутренние этические правила:

Действие	Допустимо?
Архивация публичных государственных сайтов	Да
Архивация публичных постов в соцсетях	Да, с минимизацией данных
Архивация приватных чатов и сообщений	Нет
Сбор данных из закрытых групп VK	Только по согласованию с участниками
Взлом аккаунтов и обход 2FA	Нет
Использование украденных cookie-файлов	Нет
Публикация персональных данных без нужды	Нет

Бан аккаунта — основной риск для архиваторов соцсетей.
Временная блокировка IP — при агрессивном сборе.
Судебный иск — крайне редко, обычно не от соцсетей, а от субъектов данных.
Уголовное преследование — в исключительных случаях при сборе данных, составляющих гостайну или персональные данные спецкатегорий.