joblib.parallel with patsy?
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- data, performance
Direzione di ricerca
Inizia leggendo patsy/build.py nei due punti indicati nell'issue, alle righe 442 e 886, e verifica in che modo è coinvolta la chiamata a dmatrix. Esegui un benchmark del caso segnalato con un dataset di grandi dimensioni prima di valutare joblib.parallel; l'issue non definisce ancora un'implementazione concordata né criteri di completamento verificabili.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
So one of my datasets can be super-huge and therefore, super-slow by my impatient standards. I can sit there for 3-5 minutes just waiting for a design matrix to be built (on one core). There's lots of terms/factors in this model. I have plenty of spare CPU's just sitting waiting for this to finish before the GLM can be kicked off.
Crazy idea... would it make any sense to incorporate joblib.parallel in patsy?
I have 2 ideas...
Simple idea is to just call joblib.parallel on the dmatrix call and make those in parallel.
Slightly more crazy idea would be to try to incorporate this inside patsy. I see 2 potential (somewhat) easy placements...
I recognize this brings opens a can of worms--transferring the data and state between the parent and child nodes is not free... new complexity in debugging... And doing things in parallel should be after other optimizations. (Tell me... is 5 minutes to run dmatrix on 30 million rows with about 50 output columns slower than you'd think?)
So before I go down this potentially very dumb rabbit hole, I'm happy to hear the thoughts of people who have better knowledge/experience with these topics.
- Lingua principale
- Python
- Stelle
- 990
- Fork
- 113
- Merge medio
- 2g 8h
- PR unite (30g)
- 3
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di pydata/patsy
-
VarLookupDict should implement __iter__, causes CPython crash when using statsmodels in marimo notebookForse già presa @kouyouqi123 l’ha presa 173 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
-
Add link to license in readmeForse già presa @zheng-guannan577 l’ha presa 9 giorni fa. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
-
Nullable pandas dtypes crash in categorical handling: "Cannot interpret 'BooleanDtype' as a data type"Forse già presa @RaphaelFakhri l’ha presa 15 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
-
cc() truncates periodic coordinates for integer input with fractional boundsForse già presa @ktz03 l’ha presa 39 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
Tutte le issue di pydata/patsy
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
I maintainer di solito rispondono entro 1 giorno
-
Harden tools/pr_threads.sh: pass all printed thread fields through the deterministic sanitizerApertaarea:cli area:security enhancement priority:medium size:small
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
RonaldHensbergen/composable-data-stack#1338 ·
I maintainer di solito rispondono entro 1 giorno
-
area:stdlib effort:S impact:med platform:linux type:bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
-
automated endpoint-dead needs-curation
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
almanac-data/climate-almanac#139 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
UKGovernmentBEIS/inspect_ai#6695 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno