joblib.parallel with patsy?
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- data, performance
Línea de trabajo
Empieza leyendo patsy/build.py en las dos ubicaciones enlazadas en el issue, las líneas 442 y 886, y revisa cómo interviene la llamada a dmatrix. Haz un benchmark del caso reportado con un conjunto de datos grande antes de evaluar joblib.parallel; el issue todavía no define una implementación acordada ni criterios de finalización comprobables.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
So one of my datasets can be super-huge and therefore, super-slow by my impatient standards. I can sit there for 3-5 minutes just waiting for a design matrix to be built (on one core). There's lots of terms/factors in this model. I have plenty of spare CPU's just sitting waiting for this to finish before the GLM can be kicked off.
Crazy idea... would it make any sense to incorporate joblib.parallel in patsy?
I have 2 ideas...
Simple idea is to just call joblib.parallel on the dmatrix call and make those in parallel.
Slightly more crazy idea would be to try to incorporate this inside patsy. I see 2 potential (somewhat) easy placements...
I recognize this brings opens a can of worms--transferring the data and state between the parent and child nodes is not free... new complexity in debugging... And doing things in parallel should be after other optimizations. (Tell me... is 5 minutes to run dmatrix on 30 million rows with about 50 output columns slower than you'd think?)
So before I go down this potentially very dumb rabbit hole, I'm happy to hear the thoughts of people who have better knowledge/experience with these topics.
- Lenguaje dominante
- Python
- Estrellas
- 990
- Forks
- 113
- Merge medio
- 2 d 8 h
- PR fusionados (30 d)
- 3
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de pydata/patsy
-
VarLookupDict should implement __iter__, causes CPython crash when using statsmodels in marimo notebookPosiblemente ocupada @kouyouqi123 la tomó hace 173 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Add link to license in readmePosiblemente ocupada @zheng-guannan577 la tomó hace 9 días. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 68/100
-
Nullable pandas dtypes crash in categorical handling: "Cannot interpret 'BooleanDtype' as a data type"Posiblemente ocupada @RaphaelFakhri la tomó hace 15 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
-
cc() truncates periodic coordinates for integer input with fractional boundsPosiblemente ocupada @ktz03 la tomó hace 39 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
Todos los issues de pydata/patsy
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 64/100
Los mantenedores suelen responder en 1 día
-
Harden tools/pr_threads.sh: pass all printed thread fields through the deterministic sanitizerAbiertoarea:cli area:security enhancement priority:medium size:small
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
RonaldHensbergen/composable-data-stack#1338 ·
Los mantenedores suelen responder en 1 día
-
area:stdlib effort:S impact:med platform:linux type:bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
automated endpoint-dead needs-curation
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
almanac-data/climate-almanac#139 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
UKGovernmentBEIS/inspect_ai#6695 · 1 comentario ·
Los mantenedores suelen responder en 1 día