[extract-worker] minimal document embedding workflow/activity
I maintainer di solito rispondono entro 1 giorno
@winsomeglint ci sta già lavorando.
Dal 12/10/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Add a first version of a document embedding workflow/activity in the extract worker:
- chunk docs using one of docling chunkers
- embed using a small leading RTEB embedding model (
jinaai/jina-embeddings-v5-text-nanois a good candidate) - index results in ES
- Lingua principale
- Python
- Stelle
- 8
- Fork
- 0
- Merge medio
- 1h 8m
- PR unite (30g)
- 16
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ICIJ/datashare-python
-
[extract-worker][poc]: create a hybrid search demoForse già presa @winsomeglint l’ha presa 11 giorni fa. Aperta
ICIJ/datashare-python#121 · 2 assegnatari ·
I maintainer di solito rispondono entro 1 giorno
-
feature(passport-worker): skip processing of text pages thanks to liteparseForse già presa @ClemDoum l’ha presa 11 giorni fa. Aperta
ICIJ/datashare-python#118 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
feature(extract-worker): implement hybrid pipeline routing text pages to LiteParseForse già presa @ClemDoum l’ha presa 11 giorni fa. Aperta
ICIJ/datashare-python#117 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
feature(extract-worker): implement LiteParse PipelineForse già presa @ClemDoum l’ha presa 11 giorni fa. Aperta
ICIJ/datashare-python#116 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
[poc]: document embedding, hybrid search/retrieval POCForse già presa @winsomeglint l’ha presa 19 giorni fa. Aperta
ICIJ/datashare-python#110 · 3 assegnatari ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di ICIJ/datashare-python
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
NousResearch/hermes-agent#147104 ·
I maintainer di solito rispondono entro 1 giorno
-
premises-missing
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
WingedGuardian/GENesis-AGI#3801 ·
I maintainer di solito rispondono entro 1 giorno
-
[oblt-aw][autodoc] Document new required `shared-org-key` input for `obs-aw-dependency-review`Forse già presa @github-actions l’ha presa oggi. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
I maintainer di solito rispondono entro 1 giorno
-
bot-triaged module: inductor oncall: pt2 topic: fuzzer triaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 4 giorni