Перейти к основному содержимому

ArchiveTeam

ArchiveTeam — волонтёрский коллектив, который с 2009 года скачивает пользовательские данные сервиса, пока тот закрывается. Организатор вики и ранних кампаний — Джейсон Скотт. На главной вики коллектив описывает себя как «свободный коллектив изгоев-архивистов, программистов и писателей».

ArchiveTeam и Internet Archive — разные организации. В Internet Archive состоят отдельные участники, большинство помогает в свободное от работы и учёбы время. Долговременное хранение — коллекции archive.org: FAQ прямо пишет, что коллектив полагается на Internet Archive. В описании коллекции его отделяют и от команды Archive-It.

Штаб — wiki.archiveteam.org. Текущие задания Warrior показывает tracker.archiveteam.org.

Сначала найти чужой архив​

Чужой сервис, который вот-вот закроется, часто уже стоит в очереди ArchiveTeam. Прежде чем запускать свой обход, проверьте три места.

  1. Страница сервиса на вики. Поиск по имени сайта. В карточке проекта указаны статус, канал IRC и поле Data — имя коллекции на archive.org.
  2. Wayback Machine. FAQ ArchiveTeam называет его обычным способом открыть сохранённую страницу. Часть страниц появляется там через месяцы: WARC должен попасть в коллекцию, которую Internet Archive допустил к разбору.
  3. Поиск по коллекции. Запрос collection:archiveteam на 14 октября 2026 года находит около 5,42 млн записей. Запись — пакет файлов проекта, а не один сайт.
https://archive.org/search?query=collection%3Aarchiveteam

Имя коллекции из поля Data надёжнее свободного поиска. У Google+ это archiveteam_googleplus: на ту же дату поиск находит 33 033 записи.

Сырые WARC часто закрыты для скачивания

Значок замка у коллекции значит, что файлы WARC не отдаются напрямую. Страницы при этом обычно открываются в Wayback Machine. В FAQ ArchiveTeam это объясняют так: Internet Archive сам разбирает запросы на исключение и ограничивает массовое скачивание, в том числе для обучения языковых моделей. За доступом к массиву FAQ отсылает в Internet Archive, а не к волонтёрам.

Если в Wayback пусто, а на вики у проекта есть страница, там же написано, чем пользоваться вместо сырого WARC: отдельный поисковик по имени пользователя (такие есть у меньшинства проектов), список URL в CDX или зеркало. Для GeoCities вики до сих пор пишет, что собственный архив ArchiveTeam в Wayback ещё не разобран.

Вики стоит читать и как справочник по обходу. У крупных площадок там собраны структура URL, известные ограничения и чужие инструменты выгрузки. XML-дамп вики публикуют примерно раз в неделю: archiveteam.org/dumps.

Что считают достойным спасения​

На странице Philosophy Джейсон Скотт задаёт порядок такой:

  1. Сайты, куда людей приглашали что-то публиковать, — журналы, группы, профили, загруженные файлы.
  2. Собрания, которые трудно восстановить из другого места.
  3. Всё остальное — как запасная копия, если остаются руки и канал.

Отсюда форма работы. Массовый обход Internet Archive снимает открытые страницы по расписанию. ArchiveTeam приходит на объявление о закрытии и пишет отдельный скрипт под API, ленты, короткие ссылки и страницы аккаунтов, которые общий обход не забирает.

Список больных сайтов ведут на Deathwatch. Счётчик страниц проектов на вики (14 октября 2026 года, сама вики называет его неполным): 571 спасённый сайт, 274 частично спасённых, 111 потерянных, 72 в работе.

Как устроен сбор​

Обычная цепочка выглядит так.

  1. Кто-то замечает дату закрытия и пишет в IRC или добавляет сайт на Deathwatch.
  2. Для небольшого сайта запускают ArchiveBot: бот в IRC обходит сайт в WARC. Для крупного пишут отдельный проект и нарезают его на задания.
  3. Warrior на компьютерах волонтёров забирает задания с трекера, скачивает свою долю и отдаёт сжатые данные на серверы ArchiveTeam.
  4. Файлы попадают в коллекцию Internet Archive. В Wayback страница появляется после того, как Internet Archive допустит WARC к разбору. Свой WARC, загруженный в произвольную коллекцию, туда сам не попадает — это прямо написано в FAQ.

Связь с коллективом — IRC-сеть hackint, канал #archiveteam-bs (ircs://irc.hackint.org:6697, нужен TLS). Веб-чат указан на главной вики. Почта: [email protected]. Сама вики вопросы не читает: FAQ просит писать в IRC или на почту.

ArchiveTeam Warrior​

Warrior — виртуальная машина или контейнер. Он забирает задания текущего проекта, качает их с вашего IP и занимает канал, место на диске, процессор и память. Выбрать произвольный сайт нельзя: волонтёр подключается к проекту, который уже запущен.

На вики основной способ — виртуальная машина. Актуальный образ там назван Warrior 4.2 (165 МиБ); для запуска рекомендуют VirtualBox. После загрузки интерфейс открывается на http://localhost:8001/: там задают имя для таблицы участников и проект. Пункт ArchiveTeam's Choice отдаёт Warrior на самый срочный проект по весам, которые коллектив выставляет сам.

Тот же клиент есть в Docker. Образ публикуют как atdr.meo.ws/archiveteam/warrior-dockerfile. Команда ниже — из README репозитория warrior-dockerfile: контейнер в фоне, имя участника и автоматический выбор проекта. В Dockerfile этого репозитория указана метка version="20260405.01".

docker run --detach \
  --env DOWNLOADER="ваше-имя" \
  --env SELECTED_PROJECT="auto" \
  --name archiveteam-warrior \
  --restart=on-failure \
  --publish 8001:8001 \
  atdr.meo.ws/archiveteam/warrior-dockerfile

Интерфейс после запуска — localhost:8001. Рецепт с автоматическим обновлением образа лежит в том же README. Если контейнер уже создал projects/config.json, переменные окружения при следующем запуске игнорируются.

Что идёт в октябре 2026 года​

Состав меняется быстрее этой страницы. Ниже — перечень с главной вики на 14 октября 2026 года; блок текущих проектов там помечен датой обновления 1 октября.

Срочных коротких проектов в этот день в списке не было. ArchiveTeam's Choice распределял Warrior так: Telegram с весом 0,8 и рекламная библиотека Meta с весом 0,2.

ПроектГоризонтЧто забирают
Telegramдолгий, основной в Choiceпубличные сообщения отобранных каналов, веб-представление
Meta Ad Libraryсреднийбаза объявлений Facebook и других продуктов Meta
US Governmentсреднийсайты правительства США; отдельно названы Radio Free Europe/Radio Liberty («Радио Свободная Европа» / «Радио Свобода»), Voice of America и Radio Free Asia
URLTeamдолгийсокращатели ссылок
YouTube, Twitchдолгийвыбранные ролики и метаданные
Blogger, Imgur, Pastebin, Microsoft Updateдолгий, задания приходят редконеактивные блоги после чистки аккаунтов Google, изображения Imgur, тексты Pastebin, старые драйверы Windows
WikiTeamпостоянный, вручнуюXML-дампы вики и файлы к ним

MediaFire в том же списке помечен как остановленный: ссылки принимают, задания Warrior не выдают.

Рядом виден темп 2026 года — недавно закрытые кампании с главной вики:

  • Tenor — хостинг GIF, отключение 30 июня 2026 года;
  • Bitbucket — удаление issues и вики 20 августа 2026 года;
  • Weebly — прекращение работы конструктора сайтов в 67 странах 27 сентября 2026 года;
  • Naver TV и японский фотосайт Photohito — закрытие 30 сентября 2026 года;
  • часть проекта по правительству США уже сдана: видеоархив NIH, цифровые коллекции Национальной медицинской библиотеки и база FITBIR.

Крупные спасения​

СервисКогдаЧто говорит викиКуда смотреть
GeoCitiesсбор апрель–октябрь 2009, закрытие 26–27 октября 2009Saved. Раздачу торрентом в прессе, на которую ссылается вики, называли объёмом около 900 ГБ. Отдельная пометка: в Wayback этот массив ещё не разобранarchiveteam-geocities, обходы самого Internet Archive и зеркала, перечисленные на вики
Google+2019, меньше четырёх недельбольше 1,56 петабайта WARC. Профили — Saved, сообщества — Partially savedarchiveteam_googleplus, затем Wayback
Yahoo Groupsк закрытию сервисапубличные группы и сообщения; точные доли на вики расходятся по датамarchiveteam_yahoogroups
goo.gl16 февраля – 24 августа 2025статус Qualified Success. Сервис отключили 25 августа 2025 года, кроме ссылок, которые были активны в конце 2024-гоarchiveteam_googl
Vineчастичный сбор в 2016сайт с роликами окончательно сломался около 3 января 2025 годаWayback и страница Vine
Coubмарт–апрель 2022, закрытие было назначено на 01.04.2022чуть больше 77 ТиБ, проект coub-grab, примерно до 1 апреля 2022 годаarchiveteam_coub, страница Coub. Кампания Ruarxive — отдельная страница

Поверх архива GeoCities художник Драган Эспеншид собрал отдельный просмотр «One Terabyte of Kilobyte Age». Вики отсылает к нему как к удобному способу смотреть страницы, не скачивая торрент целиком.

Инструменты, которые работают и без Warrior​

Скрипты проектов завязаны на трекер. Эти программы можно поставить отдельно, для своего архива.

ИнструментЗачемВ базе знаний
Wget-ATwget с Lua-хуками, WARC со сжатием Zstandard и дедупликацией. На нём держатся проекты WarriorWget
grab-siteсвой обход сайта в WARC, без участия в чужом проектеgrab-site
wpullзагрузчик на Python в духе wget; живой форк стоит внутри grab-siteWpull
wikiteam3дамп MediaWiki: страницы, история правок, файлыWikiTeam
File Formats Wikiсправочник форматов файлов, проект Just Solve the File Format ProblemРеестры форматов

WikiTeam — постоянный подпроект: XML-дампы и изображения уходят в коллекцию wikiteam. По репозиторию WikiTeam к 2026 году сохранено больше 600 000 вики (публикация #180). Исчезнувшие русскоязычные вики имеет смысл искать там раньше, чем снимать сайт заново.

Русскоязычные площадки​

Страница на вики не означает, что копия уже лежит в открытом доступе.

  • LiveJournal. Страница проекта описывает сбор профилей как незавершённый. В списке текущих Warrior-проектов на октябрь 2026 года LiveJournal нет. Журнал, который нужен целиком, надёжнее выгрузить своими средствами, пока сайт его отдаёт.
  • ВКонтакте. Страница VK фиксирует риск перебоев в 2022 году и не содержит статуса Saved или коллекции с результатом.
  • Telegram. Проект в работе: публичное веб-представление отобранных каналов, коллекция archiveteam_telegram помечена замком. Это не полная выгрузка канала. Свой канал или чат сохраняют экспортом Telegram Desktop или через tgarc; порядок действий — в инструкции по Telegram.
  • Вики. Коллекция WikiTeam — основной след русскоязычных MediaWiki, которые уже закрылись.

Отдельного проекта по российским сайтам в очереди Warrior на 14 октября 2026 года нет. Ведомственные порталы и издания, которые закрываются здесь, в этот перечень не входили. Ruarxive с самого начала делал такие архивы по модели ArchiveTeam: сайты в WARC и открытая публикация, без внешнего финансирования и без большой сети волонтёров. Так это сформулировано в посте о проекте «Архивация государства» (история проекта). Если ресурс важен для российского контекста, параллельно с вики ArchiveTeam смотрите срочную архивацию и чат Ruarxive.

Позиция ArchiveTeam и право в России — разные вещи

Коллектив часто начинает сбор без согласия владельца сервиса. На вопрос, почему краулер не соблюдает robots.txt, FAQ отвечает ссылкой на собственный текст Robots.txt. Это позиция ArchiveTeam. Для работы в российском контексте действуйте по странице Условия использования сервисов: правила площадки, персональные данные и запрет обхода технических ограничений остаются в силе. Warrior качает чужие сайты с вашего адреса и расходует ваш канал.

Связанные материалы​

Источники​

Последнее обновление