[epic] problem-framing(extract-worker): document embedding
Les mainteneurs répondent en général sous 1 jour
@winsomeglint y travaille déjà.
Depuis le 12/6/2026.
Évaluation
Cette issue n'a pas encore été évaluée.
Description
Precisely define/scope semantic vectors usages inside DS
- similar doc search (MLT vector)
- hybrid search
- RAG
Inputs
- document in markdown formats
- embedding configuration
Outputs
- document embedded as chunks stored in a vector DB
Success metrics (TBD)
Element to help us define success:
- what storage and vector size can we afford ?
- review embedding leaderboard: https://huggingface.co/spaces/mteb/leaderboard
- where do we want to store vectors (storage ES ?) ?
- Langage dominant
- Python
- Étoiles
- 7
- Forks
- 0
- Merge moyen
- 1 h 24 min
- PR mergées (30 j)
- 13
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Aucun modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de ICIJ/datashare-python
-
[extract-worker][poc]: create a hybrid search demoPeut-être pris @winsomeglint l’a pris il y a 16 jours. Ouverte
ICIJ/datashare-python#121 · 2 personnes assignées ·
Les mainteneurs répondent en général sous 1 jour
-
feature(passport-worker): skip processing of text pages thanks to liteparsePeut-être pris @ClemDoum l’a pris il y a 16 jours. Ouverte
ICIJ/datashare-python#118 · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
feature(extract-worker): implement hybrid pipeline routing text pages to LiteParsePeut-être pris @ClemDoum l’a pris il y a 16 jours. Ouverte
ICIJ/datashare-python#117 · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
feature(extract-worker): implement LiteParse PipelinePeut-être pris @ClemDoum l’a pris il y a 16 jours. Ouverte
ICIJ/datashare-python#116 · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
[poc]: document embedding, hybrid search/retrieval POCPeut-être pris @winsomeglint l’a pris il y a 24 jours. Ouverte
ICIJ/datashare-python#110 · 3 personnes assignées ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de ICIJ/datashare-python
Issues similaires
-
curriculum documentation quality
Difficulté 2/5 1-3 heures Accessibilité débutants 77/100
githubnext/gh-aw-workshop#5367 ·
Les mainteneurs répondent en général sous 3 jours
-
Create Noise Latents ignores randomize_seed and produces the same noise every runPeut-être pris @griptapeops l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
griptape-ai/griptape-nodes-library-diffusers#127 ·
Les mainteneurs répondent en général sous 1 jour
-
Jenkins capacity report: metrics history is lost when archiving a month failsPeut-être pris @RaphaelFakhri l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
adoptium/infrastructure#4568 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
huggingface/deep-rl-class#723 ·
-
premises-missing
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
WingedGuardian/GENesis-AGI#3928 ·
Les mainteneurs répondent en général sous 1 jour