[epic] problem-framing(extract-worker): document embedding
Maintainer antworten meist innerhalb von 1 Tag
@winsomeglint arbeitet bereits daran.
Seit 12.6.2026.
Bewertung
Dieses Issue wurde noch nicht bewertet.
Beschreibung
Precisely define/scope semantic vectors usages inside DS
- similar doc search (MLT vector)
- hybrid search
- RAG
Inputs
- document in markdown formats
- embedding configuration
Outputs
- document embedded as chunks stored in a vector DB
Success metrics (TBD)
Element to help us define success:
- what storage and vector size can we afford ?
- review embedding leaderboard: https://huggingface.co/spaces/mteb/leaderboard
- where do we want to store vectors (storage ES ?) ?
- Vorherrschende Sprache
- Python
- Sterne
- 7
- Forks
- 0
- Ø Merge
- 1 Std. 24 Min.
- Gemergte PRs (30 T.)
- 13
Entwicklungsumgebung
- Enthält ein Dockerfile oder eine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Kein Beitragsleitfaden
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus ICIJ/datashare-python
-
[extract-worker][poc]: create a hybrid search demoEvtl. vergeben @winsomeglint hat das vor 16 Tagen übernommen. Offen
ICIJ/datashare-python#121 · 2 zugewiesene Personen ·
Maintainer antworten meist innerhalb von 1 Tag
-
feature(passport-worker): skip processing of text pages thanks to liteparseEvtl. vergeben @ClemDoum hat das vor 16 Tagen übernommen. Offen
ICIJ/datashare-python#118 · 1 zugewiesene Person ·
Maintainer antworten meist innerhalb von 1 Tag
-
feature(extract-worker): implement hybrid pipeline routing text pages to LiteParseEvtl. vergeben @ClemDoum hat das vor 16 Tagen übernommen. Offen
ICIJ/datashare-python#117 · 1 zugewiesene Person ·
Maintainer antworten meist innerhalb von 1 Tag
-
feature(extract-worker): implement LiteParse PipelineEvtl. vergeben @ClemDoum hat das vor 16 Tagen übernommen. Offen
ICIJ/datashare-python#116 · 1 zugewiesene Person ·
Maintainer antworten meist innerhalb von 1 Tag
-
[poc]: document embedding, hybrid search/retrieval POCEvtl. vergeben @winsomeglint hat das vor 24 Tagen übernommen. Offen
ICIJ/datashare-python#110 · 3 zugewiesene Personen ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in ICIJ/datashare-python
Ähnliche Issues
-
bug severity:low
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
Maintainer antworten meist innerhalb von 2 Tagen
-
curriculum documentation quality
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 77/100
githubnext/gh-aw-workshop#5367 ·
Maintainer antworten meist innerhalb von 3 Tagen
-
OAuth documentation for GET /api/v2/users/me/ appears inconsistent with required global read scopeOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
Maintainer antworten meist innerhalb von 1 Tag
-
Create Noise Latents ignores randomize_seed and produces the same noise every runEvtl. vergeben @griptapeops hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
griptape-ai/griptape-nodes-library-diffusers#127 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Jenkins capacity report: metrics history is lost when archiving a month failsEvtl. vergeben @RaphaelFakhri hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
adoptium/infrastructure#4568 ·
Maintainer antworten meist innerhalb von 1 Tag