Social Feed Manager
На сайте проекта библиотеки Университета Джорджа Вашингтона (GWU) сообщают (обновление 2024 года): из-за изменения условий доступа к API Twitter/X они больше не развивают Social Feed Manager и не предоставляют размещённый экземпляр. Программа обновлена для работы с Twitter/X API v2, и организации могут разворачивать собственные экземпляры, но с учётом платного доступа к API X это имеет смысл лишь в редких случаях.
Актуальные альтернативы — на странице Архивация социальных сетей.
Social Feed Manager (SFM) — открытая программа, которая собирает данные социальных сетей и веб-ресурсы из Twitter, Tumblr, Flickr и Sina Weibo через их публичные API. Она разработана для библиотек, архивов и исследовательских организаций, которые формируют коллекции социальных медиа для своих пользователей.
Возможности
- Коллекции — наборы аккаунтов, ключевых слов и других стратегий сбора для разных платформ.
- Учётные данные — пользователь подключает к SFM свои ключи API платформ.
- Метаданные сбора — информация о каждой коллекции и каждом сеансе сбора.
- Экспорт — выгрузка и фильтрация наборов данных в удобные форматы.
- Хранение в WARC — собранные ответы API сохраняются в WARC-файлы внутри каталога коллекции.
Архитектура
Актуальная версия SFM — это переработанная система из нескольких репозиториев:
- sfm-ui — веб-интерфейс и хранилище сведений о коллекциях (Django);
- сборщики для отдельных платформ:
sfm-twitter-harvester,sfm-flickr-harvester,sfm-tumblr-harvester,sfm-weibo-harvester; - sfm-docker — конфигурация Docker для развёртывания.
Репозиторий gwu-libraries/social-feed-manager — это предыдущая версия («Old SFM»), использовавшаяся в GWU с 2012 года и работавшая только с Twitter. Описание на этой странице относится к новой версии.
Установка
Поддерживаемый способ развёртывания — контейнеры Docker. Порядок описан в документации: клонировать sfm-docker, переключиться на нужный релиз, скопировать примеры docker-compose.yml и .env, заполнить настройки и запустить контейнеры через Docker Compose. Точные команды и номер версии берите из документации — они зависят от выбранного релиза.