Crawling curated list of sites: Data Sourcing Candidate seeds spreadsheet
還沒有人認領這個 Issue。
評估
- 難度
- 5/5
- 預估耗時
- 一週以上
- 新手友好度
- 25/100
- Issue 類型
- 功能
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
- 技術堆疊
- html
研究方向
從連結的「BigScience Data Sourcing Participants」試算表以及 CommonCrawl/WARC 篩選要求開始。定義每個網域需要收集的指標、需要保留的最少 WARC 內容，以及 Hugging Face 上的 dataset 目的地。當選定的網域完成處理、指標完成報告，且相關記錄連同所要求的 URL 資訊一起上傳後，即視為完成。
由索引模型根據 Issue 內容生成。
描述
We want to be able to obtain all web and media content associated with a specific list pre-identified domain names.
This issue tracks potential crawling seeds identified BigScience Data Sourcing Participants, primarily in Spanish and SEA English (and three Chinese).
The steps to follow are:
- filter the CommonCrawl (or another archive) for all WARC records with one of the given domain names
- filtering all dumps form the last two years
- obtain overall metrics and metrics per domain name
- page counts, content languages, content types, etc.
- upload all of the relevant WARC records for each domain name to a HF dataset in the BigScience Catalogue Data Organization
- minimal filtering of WARC records to include human-readable pages AND pages that reference links to objects we want to download (e.g. PDFs)
- Extract the HTML tags corresponding to all URLs in the WARC entries
- optional: post-process the above list to identify outgoing links, extract their domain name, and content type
- optional: run text extraction
In particular, the list of domain names mentioned in outgoing link may be used to obtain a "depth 1 pseudo-crawl" by running the same process again
cc @sebastian-nagel
- 主要語言
- HTML
- 星號
- 91
- 分支
- 47
- PR 合併指標
- 30 天內沒有已合併 PR
環境準備
這個專案沒有提供開發容器、Dockerfile 或貢獻指南，環境需要你自己搭建：先看它的 README，通用步驟見我們的新手貢獻指南。
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
bigscience-workshop/data_tooling 的其他 Issue
-
data catalog
難度 1/5 1 小時以內 新手友好度 82/100
-
data catalog
難度 1/5 1 小時以內 新手友好度 62/100
-
data catalog
難度 2/5 1-3 小時 新手友好度 68/100
-
data catalog
難度 1/5 1 小時以內 新手友好度 72/100
-
data catalog
難度 2/5 1-3 小時 新手友好度 82/100
查看 bigscience-workshop/data_tooling 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 70/100
HelenaLC/spatialdataR#284 ·
維護者通常 1 天內回覆
-
難度 1/5 1-3 小時 新手友好度 94/100
zerocracy/judges-action#2803 ·
維護者通常 5 天內回覆
-
Add: USM TV SD未關閉check:passed streams:add
難度 1/5 1 小時以內 新手友好度 75/100
維護者通常 1 天內回覆
-
check:failed logos:add
難度 1/5 1 小時以內 新手友好度 78/100
-
難度 2/5 1-3 小時 新手友好度 66/100