Common Crawl — открытые веб-краулы
Common Crawl — некоммерческая организация (основана в 2007 году), которая регулярно обходит веб и бесплатно публикует результаты: WARC-файлы с ответами серверов, а также производные форматы WAT (метаданные) и WET (извлечённый текст). Данные хранятся в Amazon S3 (бакет s3://commoncrawl/) и доступны по HTTPS через data.commoncrawl.org; отдельные краулы зеркалируются в хранилище Hugging Face.
Главное отличие от Internet Archive: у Common Crawl нет интерфейса для просмотра страниц. Это набор данных: чтобы найти конкретную страницу, нужно обратиться к индексу и затем извлечь запись из WARC-файла.
Что внутри одного краула
Пример — краул за сентябрь 2026 года (CC-MAIN-2026-39, около 2,17 млрд страниц, по данным страницы краула):
| Тип | Что содержит | Объём (сжато) |
|---|---|---|
| WARC | Запросы и ответы серверов | ~82,8 ТиБ |
| WAT | Метаданные в JSON: заголовки, ссылки, title | ~14,2 ТиБ |
| WET | Извлечённый текст (WARC-записи типа conversion) | ~5,9 ТиБ |
CDX-индекс (cc-index) | Индекс URL | ~0,23 ТиБ |
Колоночный индекс (cc-index-table, Parquet) | Тот же индекс для SQL-движков | ~0,20 ТиБ |
Краулы выходят примерно раз в месяц. Идентификатор краула — CC-MAIN-ГГГГ-НН, где НН — номер ISO-недели, а не месяц (например, CC-MAIN-2024-10 — первый краул 2024 года). Актуальный список — в collinfo.json.
Что не попадает в краул
- Страницы, закрытые в
robots.txtот краулера Common Crawl (CCBot). - Контент, доступный только после авторизации.
- Большие файлы сохраняются не целиком — ответы обрезаются по размеру.