Crawling curated list of sites: Data Sourcing Candidate seeds spreadsheet
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 25/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- html
调研方向
从链接的“BigScience Data Sourcing Participants”电子表格以及 CommonCrawl/WARC 过滤要求开始。定义每个域名需要收集的指标、需要保留的最少 WARC 内容，以及 Hugging Face 上的 dataset 目标位置。当选定的域名完成处理、指标完成报告，并且相关记录连同所请求的 URL 信息一起上传后，即视为完成。
由索引模型根据 Issue 内容生成。
描述
We want to be able to obtain all web and media content associated with a specific list pre-identified domain names.
This issue tracks potential crawling seeds identified BigScience Data Sourcing Participants, primarily in Spanish and SEA English (and three Chinese).
The steps to follow are:
- filter the CommonCrawl (or another archive) for all WARC records with one of the given domain names
- filtering all dumps form the last two years
- obtain overall metrics and metrics per domain name
- page counts, content languages, content types, etc.
- upload all of the relevant WARC records for each domain name to a HF dataset in the BigScience Catalogue Data Organization
- minimal filtering of WARC records to include human-readable pages AND pages that reference links to objects we want to download (e.g. PDFs)
- Extract the HTML tags corresponding to all URLs in the WARC entries
- optional: post-process the above list to identify outgoing links, extract their domain name, and content type
- optional: run text extraction
In particular, the list of domain names mentioned in outgoing link may be used to obtain a "depth 1 pseudo-crawl" by running the same process again
cc @sebastian-nagel
- 主要语言
- HTML
- 星标
- 91
- 派生
- 47
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
bigscience-workshop/data_tooling 的其他 Issue
-
data catalog
难度 1/5 1 小时以内 新手友好度 82/100
-
data catalog
难度 1/5 1 小时以内 新手友好度 62/100
-
data catalog
难度 2/5 1-3 小时 新手友好度 68/100
-
data catalog
难度 1/5 1 小时以内 新手友好度 72/100
-
data catalog
难度 2/5 1-3 小时 新手友好度 82/100
查看 bigscience-workshop/data_tooling 的全部 Issue
相似的 Issue
-
enhancement
难度 2/5 1-3 小时 新手友好度 66/100
OpenEuroLLM/training-data-packer#132 ·
维护者通常 1 天内回复
-
essspectroscopy
难度 2/5 1-3 小时 新手友好度 65/100
维护者通常 2 天内回复
-
OpenAI raw streaming tool-call messages without content raise KeyError可能已有人在做 @Darssal 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
hiyouga/LlamaFactory#10897 ·
维护者通常 1 天内回复
-
continuous energy neutron
难度 2/5 1-3 小时 新手友好度 85/100
mcdc-project/mcdc#577 ·
维护者通常 1 天内回复
-
ConcatThenSplitIterDataset drops a document when restored from a JSON-serialized state可能已有人在做 @AshishKumar4 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 75/100
维护者通常 1 天内回复