[epic] problem-framing(extract-worker): document embedding
维护者通常 1 天内回复
@winsomeglint 已经在做这个了。
开始于 2026年6月12日。
评估
这个 Issue 还没有评估数据。
描述
Precisely define/scope semantic vectors usages inside DS
- similar doc search (MLT vector)
- hybrid search
- RAG
Inputs
- document in markdown formats
- embedding configuration
Outputs
- document embedded as chunks stored in a vector DB
Success metrics (TBD)
Element to help us define success:
- what storage and vector size can we afford ?
- review embedding leaderboard: https://huggingface.co/spaces/mteb/leaderboard
- where do we want to store vectors (storage ES ?) ?
- 主要语言
- Python
- 星标
- 7
- 派生
- 0
- 平均合并
- 1 小时 8 分钟
- 30 天内合并 PR
- 16
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
ICIJ/datashare-python 的其他 Issue
-
[extract-worker][poc]: create a hybrid search demo可能已有人在做 @winsomeglint 于 15 天前认领。 未关闭
ICIJ/datashare-python#121 · 已指派 2 人 ·
维护者通常 1 天内回复
-
feature(passport-worker): skip processing of text pages thanks to liteparse可能已有人在做 @ClemDoum 于 15 天前认领。 未关闭
ICIJ/datashare-python#118 · 已指派 1 人 ·
维护者通常 1 天内回复
-
feature(extract-worker): implement hybrid pipeline routing text pages to LiteParse可能已有人在做 @ClemDoum 于 15 天前认领。 未关闭
ICIJ/datashare-python#117 · 已指派 1 人 ·
维护者通常 1 天内回复
-
feature(extract-worker): implement LiteParse Pipeline可能已有人在做 @ClemDoum 于 15 天前认领。 未关闭
ICIJ/datashare-python#116 · 已指派 1 人 ·
维护者通常 1 天内回复
-
[poc]: document embedding, hybrid search/retrieval POC可能已有人在做 @winsomeglint 于 23 天前认领。 未关闭
ICIJ/datashare-python#110 · 已指派 3 人 ·
维护者通常 1 天内回复
查看 ICIJ/datashare-python 的全部 Issue
相似的 Issue
-
bug ready-for-dev
难度 1/5 1-3 小时 新手友好度 92/100
OpenHands/extensions#897 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
tensorflow/datasets#11253 ·
维护者通常 1 天内回复
-
fix(core): a config section with all keys commented out crashes startup可能已有人在做 @Aryanbhargava18 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 75/100
kubeflow/mcp-server#512 ·
维护者通常 1 天内回复
-
Stop trusting the compromised eMudhra CA certificates可能已有人在做 @anth-volk 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 82/100
PolicyEngine/uk-triple-lock#54 ·
维护者通常 1 天内回复
-
DBFS append mode silently overwrites existing files可能已有人在做 @IlyaKhalafi 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 77/100
fsspec/filesystem_spec#2429 ·
维护者通常 1 天内回复