«Мемориа л» и Роснано: кампании 2021 года
К перезапуску Ruarxive в марте 2022 года уже были собраны две кампании — сайты «Мемориала» и сайты Роснано (#5). Обе прошли в ноябре 2021 года. Обход делался утилитой Wpull: в папке хоста обычно лежат хост.warc.gz, журнал хост.log и база обхода sitearchive-хост.db.
«Мемориал»
Международная общественная организация «Международное историко-просветительское, благотворительное и правозащитное общество „Мемориал“» (ОГРН 1027700433771) включена в реестр некоммерческих организаций, выполняющих функции иностранного агента, распоряжением Минюста России от 04.10.2016 № 1355-р. Решением Верховного Суда РФ от 28.12.2021 по делу № АКПИ21-969 организация, её региональные отделения и иные структурные подразделения ликвидированы. Апелляционная коллегия оставила это решение без изменения 28.02.2022 (определение № АПЛ22-55). Правозащитный центр «Мемориал» ликвидирован решением Мосгорсуда от 29.12.2021; апелляция отклонена 05.04.2022.
Обход сайтов закончен раньше этих решений. 16.11.2021 Иван Бегтин писал, что сайты «Мемориала» могут исчезнуть из-за ликвидации юридического лица (@begtin, 16.11.2021). 21.11.2021 он сообщил, что общедоступные материалы собраны в веб-архив: 67 сайтов, 67 ГБ, формат WARC, на сервер ещё предстояло их положить. Соцсети и сайты на Ajax/API в этот обход не входили (@begtin, 21.11.2021).
30.05.2022 канал @ruarxive, со ссылкой на Роскомсвободу, сообщил о блокировке сайта и напомнил про ноябрьский архив: 67 сайтов, включая блоги, сайты проектов и организаций (#56, t.me/roskomsvoboda/8874).
Каталог из 67 строк
Список из поста 21.11.2021 — таблица Google. На 14.10.2026 в ней 67 строк. Во всех строках одна причина («требование Генпрокуратуры РФ ликвидировать Международный Мемориал»), инструмент wpull, формат WARC и стратегия «стандартная веб архивация». По типу ресурса: 61 сайт проекта, 5 сайтов организаций (www.memo.ru, www.memohrc.org, www.memorial.yaroslavl.ru, ekmemorial.com, pmem.ru) и 1 блог (memo-projects.livejournal.com). Статус «собран» стоит у 66 строк. Строка visz.nlr.ru помечена «запланирован»: папки 2021 года для неё нет. Копия 31.12.2013 лежит в более ранней коллекции memorial (315 872 694 байта).
Каталог, на который ссылается пост 30.05.2022, — Airtable.
Папка memorial2021
Файлы: webcollect2021/memorial2021/. На 14.10.2026 в ней 68 каталогов хостов. Сумма размеров файлов *.warc.gz — 64 908 596 077 байт (64,9 ГБ).
Два каталога есть в папке и отсутствуют в таблице из 67 строк: memohrc.org и notepad.memo.ru. Вместе с несобранным visz.nlr.ru это и есть разница 67 и 68. У www.memohrc.org журнал заканчивается строкой Downloaded: 0 files, WARC — 6 777 байт. Основной объём правозащитного центра лежит на имени без www.
Индекс доменов от 12.10.2026 (для webcollect2021 источник — allarchives.csv от 12.12.2023) насчитывает в memorial2021 65 доменов, 210 файлов и 67 714 201 260 байт. В сумму входят журналы и базы SQLite. Трёх каталогов с CDN в индексе нет: foto-memorial.org, histor-ipt-kt.memo.ru, memo-projects.livejournal.com. Даты файлов в индексе — с 12 по 22 ноября 2021 года. Цифра «67 ГБ» в посте 21.11.2021 — оценка на день окончания обхода, до выкладки на сервер.
Крупные WARC. «Прерван» значит, что журнал заканчивается записью Forcing immediate stop. «Завершён» — записью FINISHED и строкой Downloaded.
| Хост | WARC, байт | Журнал Wpull |
|---|---|---|
poslednyadres.ru | 18 778 289 831 | прерван 19.11.2021 |
urokiistorii.ru | 8 717 676 211 | завершён: 28 718 файлов, 4 ч 49 мин |
lib.memo.ru | 6 521 258 389 | прерван 13.11.2021 на странице /book/8865 |
base.memo.ru | 5 933 632 728 | прерван 16.11.2021 |
memohrc.org | 5 868 520 084 | завершён: 36 808 файлов, 8 ч 28 мин. В таблице из 67 строк этого хоста нет |
notepad.memo.ru | 3 671 794 479 | прерван 16.11.2021. В таблице из 67 строк этого хоста нет |
nkvd.memo.ru | 2 832 111 658 | прерван 16.11.2021. В папке ещё база SQLite и её файлы -shm и -wal |
www.memo.ru | 2 673 389 852 | завершён: 4 943 файла, 1 ч 57 мин |
www.gulagmuseum.org | 2 258 959 713 | прерван 16.11.2021 |
fond21.memo.ru | 1 868 199 417 | прерван 13.11.2021 |
stalin.memo.ru | 1 827 296 795 | завершён: 88 446 файлов, 6 ч 20 мин |
Индекс доменов даёт по nkvd.memo.ru 4 712 120 077 байт на все пять файлов. На WARC из них приходи тся 2 832 111 658 байт, остальное — журнал и база SQLite.
Короткие обходы
У 18 из 68 хостов WARC меньше 100 000 байт. Часть из них — небольшие сайты, которые обход успел обойти: 1937.memo.ru скачан за 8 секунд, 16 файлов, 138,8 КиБ. Другая часть — оболочка главной страницы или пустой прогон.
| Хост | Что записал журнал | WARC, байт | Более ранняя копия в коллекции memorial |
|---|---|---|---|
lists.memo.ru | 4 файла, 44,7 КиБ, 2 секунды | 28 979 | 95 778 846 байт, файлы от 28.10.2013 |
bulletin.memo.ru | 1 файл, 630 байт, 1 секунда | 6 063 | 30 357 133 байта, файлы от 08.06.2017 |
www.memohrc.org | 0 файлов | 6 777 | отдельной ранней копии в индексе нет; основной объём 2021 года — memohrc.org |
Ещё три журнала заканчиваются Downloaded: 0 files при WARC меньше 7 КБ: hr2.memo.ru, konkurs.memo.ru, newlists.memo.ru.
Коллекция до 2021 г ода
24.01.2017 в составе архива названы 39 сайтов «Мемориала» (@begtin, 24.01.2017). Это оценка на ту дату. В индексе доменов от 12.10.2026 коллекция memorial шире: 55 доменов, 522 файла, 35 609 041 500 байт (35,6 ГБ), даты файлов с 21.10.2013 по 25.06.2017. Файлы лежат в webcollect/memorial/ и webcollect2017/memorial/. С кампанией 2021 года совпадают 23 домена. У lists.memo.ru и bulletin.memo.ru ранняя копия полнее ноябрьской.
Роснано
АО «Роснано» — акционерное общество со стопроцентным участием государства; до 2011 года это была госкорпорация («Роснано» обсудило с кредиторами угрозу самых «негативных сценариев», РБК, 21.11.2021). Анатолий Чубайс назвал 3 декабря 2020 года своим последним днём в компании (Лента.ру, 03.12.2020).
21.11.2021 Бегтин связал новую кампанию с предбанкротным состоянием и со встречей с кредиторами и держателями облигаций, о которой компания сообщила 19.11.2021 (@begtin, 21.11.2021). На следующий день он написал, что не счёл уход Чубайса сигналом к архивации, и сравнил действующий сайт со снимком Internet Archive от 27.11.2019: с новой версии ушли сведения о проектах и дочерних компаниях, остались новости, закупки и обязательное раскрытие сведений (@begtin, 22.11.2021). В том же посте он привёл снимки разделов, которые ещё открывались в мае–июне 2021 года: органы управления на 13.06.2021 и портфельные компании на 06.05.2021. Отдельным постом он описал запрет индексации в robots.txt сайта (@begtin, 22.11.2021) и пересказ комментария компании для CNews: плановая замена сайта пришлась на август–сентябрь 2021 года (@begtin, 22.11.2021).
Обход в папке rusnano2021 сделан 28–29.11.2021, уже по новой версии сайта. Страницы портфеля и органов управления, которые к 22 ноября отсутствовали на живом сайте, этот обход снять не мог: их нет среди адресов, которые ещё отвечали.
Девять сайтов
Пост 04.10.2023 перечисляет девять сайтов и называет поводом кампании новости о смене руководства (#110). В постах 21–22.11.2021 повод — встреча с кредиторами и уже прошедшая смена сайта; уход руководителя в декабре 2020 года там назван сигналом, который не был вовремя учтён.
Папка: webcollect2021/rusnano2021/. На 14.10.2026 в ней девять каталогов. Сумма размеров *.warc.gz — 11 054 627 503 байта (11,1 ГБ).
| Хост | WARC, байт | Журнал Wpull |
|---|---|---|
edunano.ru | 4 365 888 770 | прерван 29.11.2021 на пагинации раздела пресс-центра |
www.rusnano.com | 1 974 148 458 | завершён: 6 447 файлов, 52 мин. В хвосте журнала — годовые отчёты PDF |
schoolnano.ru | 1 860 827 926 | прерван 29.11.2021 |
fiop.site | 1 768 411 033 | журнал — 267 байт и одна строка Downloaded: 0 files. По ней состав WARC не восстановить |
startbase.ru | 470 102 208 | итоговой строки FINISHED в журнале нет |
en.rusnano.com | 434 735 670 | завершён: 2 283 файла, 15 мин |
thesaurus.rusnano.com | 147 258 967 | завершён: 6 430 файлов, 57 мин |
nanocertifica.ru | 30 562 170 | журнал — 267 байт и строка Downloaded: 0 files |
rusnano-dmm.ru | 2 692 301 | завершён: 254 файла, 1 мин 36 с, в том числе страница /databases |
fiop.site в посте 29.11.2021 назван сайтом Фонда инфраструктурных и образовательных программ (@begtin, 29.11.2021). rusnano-dmm.ru — проект «Цифровое моделирование новых материалов»; в посте того же вечера разобран раздел баз данных: 26 отечественных и 82 зарубежные базы, без выгрузки базы целиком (@begtin, 21.11.2021). Обход сохранил страницу со ссылками. Сами базы в эти 254 файла не входят.
Индекс доменов от 12.10.2026 считает в rusnano2021 8 доменов, 29 файлов и 11 195 328 469 байт (11,2 ГБ), даты файлов 28–29.11.2021. Хост rusnano-dmm.ru в этот индекс не попал, в папке на CDN он есть. 11,2 ГБ — сумма всех файлов восьми хостов, включая журналы и базы, а 11,1 ГБ выше — только девять WARC.
Посты 2022 и 2023 годов
19.10.2022, на новостях о возможной ликвидации, Бегтин дал ссылку на папку 2021 года и написал, что повторная архивация будет организована в ближайшие дни (@begtin, 19.10.2022). Отдельной коллекции с другим годом в индексе доменов нет: имена коллекций с «rusnano» исчерпываются rusnano2021, а даты файлов в папке остаются 28–29.11.2021.
04.10.2023 канал опубликовал ту же папку на новостях о возможном банкротстве (#110, РБК, 03.10.2023).
Что делать
- Начинать обход с иска о ликвидации, до даты решения. Сайты «Мемориала» снимались 12–22.11.2021. Решение Верховного Суда вышло 28.12.2021, решение Мосгорсуда по правозащитному центру — 29.12.2021. К 30.05.2022 канал уже сообщал о блокировке сайта.
- Снимать сайт в день новости о смене версии, а не только в день новости о деньгах. К 22.11.2021 с rusnano.com уже были сняты разделы, которые открывались в мае, июне и ноябре 2019 года. Обход 28–29.11.2021 сохранил новую версию. Старые разделы остаются в снимках Internet Archive по ссылкам выше.
- Читать последнюю строку журнала.
Forcing immediate stopозначает, что обход прерван: так кончаются журналыposlednyadres.ru,lib.memo.ru,edunano.ru.FINISHEDиDownloaded: N filesописывают прогон, который дошёл до конца. Журналfiop.siteиз 267 байт сDownloaded: 0 filesстоит рядом с WARC на 1,8 ГБ: итог прогона и размер файла расходятся, и для оценки полноты нужен сам WARC. - Отличать короткий сайт от оборванной главной.
1937.memo.ruза 8 секунд отдал 16 файлов.lists.memo.ruза 2 секунды отдал 4 файла и 44,7 КиБ, тогда как копия 28.10.2013 в коллекцииmemorial— 95 778 846 байт. Имеет смысл сверять новый прогон с предыдущей копией того же хоста. - Обходить и имя с
www, и имя без него.www.memohrc.org— 6 777 байт и 0 файлов в журнале.memohrc.org— 5 868 520 084 байт и 36 808 файлов. В таблице из 67 строк есть только первый адрес. - Заранее решать, что WARC не заберёт. Пост 21.11.2021 прямо исключил соцсети и сайты на Ajax/API. Страница
/databasesна rusnano-dmm.ru сохранена, выгрузки самих баз в кампанию не входили. Порядок срочного сбора сайта — в гайде по экстренной архивации.
Выводы
- Кампания «Мемориала» — это обход Wpull 12–22.11.2021, до решений суда 28 и 29 декабря. В посте 21.11.2021 — 67 сайтов и 67 ГБ. В папке на 14.10.2026 — 68 каталогов и 64,9 ГБ одних только
warc.gz. Один адрес из таблицы,visz.nlr.ru, так и остался в статусе «запланирован». - Полнота задаётся тем, дошёл ли журнал до
FINISHED. Крупнейший файл,poslednyadres.ruна 18,8 ГБ, прерван.stalin.memo.ruзавершён: 88 446 файлов. У 18 хостов WARC меньше 100 000 байт, и среди них есть как целые маленькие сайты, так и главные страницы без внутренних разделов. - Ранняя коллекция
memorial(35,6 ГБ, файлы 2013–2017 годов) для части хостов полнее кампании 2021 года. Счёт «39 сайтов» из поста 24.01.2017 относится к той дате, а не к папке 2021 года. - Кампания Роснано сняла девять хостов 28–29.11.2021, 11,1 ГБ WARC, уже после замены сайта. Три крупных обхода (
edunano.ru,www.rusnano.com,schoolnano.ru) дают основной объём;edunano.ruиschoolnano.ruпрерваны. Повторный сбор, обещанный 19.10.2022, в эту папку не добавлен.