Hyphe
Hyphe (или H"И"yphe / h2.monitor) — French-проект Médialab Sciences Po для построения онтологий доменов веб-корпусов. Инструмент создан для качественного анализа: какие домены связаны, какие группы образуются, какие домены можно «объединить» как одно исследовательское сообщество.
Когда использовать
✅ Подходит, если:
- перед вами задача построить тематический корпус сайтов (например, «русские региональные СМИ», «правозащитные НКО», «университетские архивы»);
- нужно решить, какие домены включать, а какие — нет;
- требуется изучить границы домена: основной домен или сеть связанных ресурсов?
- нужна онтология для последующей выборки/переобхода.
❌ Не подходит:
- если нужно «просто пакетно скачать сайт X» — это работа для wget / wpull;
- если доменов слишком много (миллионы) — инструмент качественный, интерактивный;
- для графов ссылок профессионального уровня — есть решения на базе Common Crawl.
Концепция
- Корпус (corpus) — набор доменов.
- Актёр (actor) — уникальный домен-«бренд» (например,
kremlin.ruиpremier.gov.ru— это один или разные акторы? — решает исследователь). - Связь — гиперссылка между доменами А и Б.
Установка
Деплой через Docker:
git clone https://github.com/medialab/hyphe.git
cd hyphe
docker compose up -d
Веб-интерфейс доступен на http://localhost:6970/.
Использование
Создать корпус
- Зарегистрировать проект в
hyphe-admin. - Залить список стартовых URL (10–100 URL).
- Запустить обход: на каждом этапе добавляются новые домены.
Кодировать решения
- «слияние» доменов с общим владельцем;
- «исключение» доменов вне темы;
- «включение» найденных доменов, которые попадают в тему.
Экспорт
Готовый JSON с онтологией для последующего обхода через Browsertrix Crawler или wget.
Связанные материалы
- Link Graph Analysis — кейс-стади анализа графа ссылок Ruarxive.
- Browsertrix Crawler — обход выбранного корпуса.
- Архивация сложных проектов — пример комбинации инструментов.