Задачи
По всем вопросам пишите в Telegram-чат проекта @ruarxivechat. Технические задачи также собраны в проекте на GitHub (#62).
Задачи 1–6 и раздел «Планы развития» составлены в 2022 году. Ниже — что с ними ст ало к октябрю 2026 года. Перед началом работы всё равно напишите в чат: статус в таблице может отстать от репозитория.
| Задача 2022 года | Состояние к октябрю 2026 |
|---|---|
| 1. Названия программ «Эха Москвы» | Всё ещё нужна разметка. Таблица и инструкция живые |
| 2. Viber, открытые чаты WhatsApp | Отдельного инструмента Ruarxive нет. Для WhatsApp есть только экспорт своего чата |
| 3. Выгрузка Instagram | Страница Instagram описывает Instaloader и выгрузку своего аккаунта. Basic Display API отключён в декабре 2024 |
| 4. Поддержка wpull и grab-site | grab-site обновлялся в 2025 году. Последний релиз wpull на PyPI — 2.0.1 (2016). Помощь с современным Python по-прежнему уместна |
| 5. Поиск по JSON Telegram | Оба названных ниже проекта не обновлялись с 2022 года |
| 6. Картинки 171 аккаунта Instagram | Архив метаданных лежит в хранилище. Досбор медиа не закрыт |
| Планы: YouTube, Facebook, VK, форма заявки | Форма заявки есть. Отдельной утилиты Ruarxive для VK нет, см. ВКонтакте. Остальные пункты списка 2022 года без нового отчёта о завершении |
Актуальные задачи (2025–2026)
Сбор метаданных Национальной электронной библиотеки
В НЭБ (rusneb.ru) почти 5,5 миллиона материалов, но нет открытого API и массовой выгрузки. Нужен не только парсер, но и человек, который соберёт все метаданные по всем публикациям (автор, название, описание, дата и место публикации, тематики, атрибуты блока «Детальная информация», запись MARC21, ссылка на PDF) и сохранит их в сжатые файлы JSON Lines; сами файлы скачивать не нужно. Итоговый датасет будет открытым (#189, 28.05.2026).
Инструмент архивации для MAX
В мессенджере MAX нельзя читать каналы без авторизации и нет выгрузки данных, документированного API для архивации тоже нет. Если часть авторов перейдёт туда из Telegram, понадобится инструмент для архивации материалов из MAX (#175, 15.12.2025).
Для всех (2022)
Для выполнения задач в этом блоке не требуется специальных навыков программирования.
Задача 1. Разметка файлов по программам «Эха Москвы»
Медиаархив «Эха Москвы» загружается в Internet Archive (Archive.org), список загруженных аудиозаписей можно посмотреть в аккаунте @ruarxive и в коллекции echo-of-moscow. В файле archived_list.zip находятся ссылки на файлы.
Для описания всего сохранённого необходима разметка файлов по программам. Коды программ извлекались из имён файлов и могут иметь такие названия, как 12tango, albac, almamater и другие. Нужна помощь в их разметке и указании названия на русском языке. Полный список кодов программ — в файле programlist.csv (#28).
Без названий на русском и английском языках не получается хорошо заполнить метаданные в Internet Archive.
Группа энтузиастов уже начала разметку файлов программ в таблице (обсуждение — в комментариях к публикации #28). Подробное описание — в задаче «Обогащение метаданных архива „Эха Москвы“».
Разработчикам (2022)
У нас есть задачи для тех, кто умеет программировать и готов выступить волонтёром.
Задача 2. Агрегация и сбор данных из нестандартных источников (не web)
Есть разные каналы обмена информацией, например каналы в Viber, открытые чаты в WhatsApp и др. Нужны инструменты, позволяющие скачивать из них данные: на момент составления списка таких инструментов не было.
Задача 3. Выгрузка данных из Instagram
Для Instagram есть несколько инструментов выгрузки данных, но соцсеть сильно сопротивляется попыткам их получить. Даже instaloader регулярно сталкивается с ограничениями и для многих операций требует авторизации. Нужны инструменты для сбора данных из Instagram, лучше всего — с командной строки.
Задача 4. Обновление существующих инструментов веб-архивации
Для веб-архивации существует много инструментов с открытым кодом. Самые простые — HTTrack и wget. Сложнее — Nutch и Heritrix. Между ними по сложности — wpull и grab-site.
Wpull — переделанный wget с расширениями на Python, а grab-site — надстройка над wpull для динамического мониторинга архивации сайтов.
В 2022 году у обоих проектов была проблема с поддержкой новых версий Python и Ubuntu. С тех пор ситуация изменилась: grab-site обновлялся (в 2025 году), его README описывает установку на Ubuntu 18.04–22.04 и Debian 10–11; последний релиз wpull в PyPI — 2.0.1 (2016 год). Помощь опытных программистов в поддержке этих утилит на современных версиях Python и в Windows по-прежнему полезна.
Задача 5. Визуализация и поиск по архивам каналов и чатов в Telegram
Мы архивируем много Telegram-чатов и каналов; данные экспортируются в формате JSON. Нужен инструмент, строящий веб-интерфейс для поиска по архивированным чатам, файлам и т. д.
Проекты, к которым можно присоединиться (оба не обновлялись с 2022 года):
Задача 6. Извлечение изображений, визуализация и поиск по архивам аккаунтов в Instagram
Мы собрали архив 171 аккаунта официальных лиц и политиков РФ в Instagram (#27). Код архивации и список аккаунтов выложены в репозитории на GitHub, итоговые данные — в архиве объёмом 1,4 ГБ.
Успешно сохранены все сообщения и метаданные, но изображения и видео — ограниченно. Нужно сохранить этот тип контента для списка аккаунтов, например с помощью Instaloader.
Также нужен пользовательский интерфейс для навигации по архиву Instagram, по аналогии с задачей 5 для Telegram.
Планы развития проекта (список 2022 года)
Архивация социальных аккаунтов:
- организация архивации аккаунтов YouTube (на 2022 год завершено, за исключением архивации видео);
- организация архивации аккаунтов Facebook;
- организация архивации аккаунтов ВКонтакте;
- организация архивации аккаунтов Slideshare;
- организация архивации аккаунтов Instagram;
- специальный сайт и API для доступа к собранным данным.
Архивация веб-сайтов:
- переход на Heritrix или аналогичные краулеры, создающие WARC-файлы;
- создание интерфейсов просмотра архивных копий онлайн;
- преобразование накопленных архивов HTTrack в формат WARC;
- регулярное обновление создаваемых архивов госсайтов;
- архивация не только старых, но и обновляемых официальных сайтов.
Специализированная архивация:
- создание формы отправки ресурсов, наиболее важных для архивации (сделано — запрос на архивацию);
- создание специализированного API для каждого из специализированных архивов.