[extract-worker] minimal document embedding workflow/activity
Los mantenedores suelen responder en 1 día
@winsomeglint ya está trabajando en esto.
Desde el 12/10/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Add a first version of a document embedding workflow/activity in the extract worker:
- chunk docs using one of docling chunkers
- embed using a small leading RTEB embedding model (
jinaai/jina-embeddings-v5-text-nanois a good candidate) - index results in ES
- Lenguaje dominante
- Python
- Estrellas
- 7
- Forks
- 0
- Merge medio
- 1 h 8 min
- PR fusionados (30 d)
- 16
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ICIJ/datashare-python
-
[extract-worker][poc]: create a hybrid search demoPosiblemente ocupada @winsomeglint la tomó hace 13 días. Abierto
ICIJ/datashare-python#121 · 2 asignados ·
Los mantenedores suelen responder en 1 día
-
feature(passport-worker): skip processing of text pages thanks to liteparsePosiblemente ocupada @ClemDoum la tomó hace 13 días. Abierto
ICIJ/datashare-python#118 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
feature(extract-worker): implement hybrid pipeline routing text pages to LiteParsePosiblemente ocupada @ClemDoum la tomó hace 13 días. Abierto
ICIJ/datashare-python#117 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
feature(extract-worker): implement LiteParse PipelinePosiblemente ocupada @ClemDoum la tomó hace 13 días. Abierto
ICIJ/datashare-python#116 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
[poc]: document embedding, hybrid search/retrieval POCPosiblemente ocupada @winsomeglint la tomó hace 21 días. Abierto
ICIJ/datashare-python#110 · 3 asignados ·
Los mantenedores suelen responder en 1 día
Todos los issues de ICIJ/datashare-python
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
enhancement good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
elviskahoro/sdk-python-attio#144 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
RenyiELBO raises TypeError when model has no sample sitesPosiblemente ocupada @alibb007 la tomó hoy. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día