joblib.parallel with patsy?

Aperta
#103 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
python
Ambito
data, performance

Direzione di ricerca

Inizia leggendo patsy/build.py nei due punti indicati nell'issue, alle righe 442 e 886, e verifica in che modo è coinvolta la chiamata a dmatrix. Esegui un benchmark del caso segnalato con un dataset di grandi dimensioni prima di valutare joblib.parallel; l'issue non definisce ancora un'implementazione concordata né criteri di completamento verificabili.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

So one of my datasets can be super-huge and therefore, super-slow by my impatient standards. I can sit there for 3-5 minutes just waiting for a design matrix to be built (on one core). There's lots of terms/factors in this model. I have plenty of spare CPU's just sitting waiting for this to finish before the GLM can be kicked off.

Crazy idea... would it make any sense to incorporate joblib.parallel in patsy?

I have 2 ideas...

Simple idea is to just call joblib.parallel on the dmatrix call and make those in parallel.

Slightly more crazy idea would be to try to incorporate this inside patsy. I see 2 potential (somewhat) easy placements...

here and here

I recognize this brings opens a can of worms--transferring the data and state between the parent and child nodes is not free... new complexity in debugging... And doing things in parallel should be after other optimizations. (Tell me... is 5 minutes to run dmatrix on 30 million rows with about 50 output columns slower than you'd think?)

So before I go down this potentially very dumb rabbit hole, I'm happy to hear the thoughts of people who have better knowledge/experience with these topics.

Lingua principale
Python
Stelle
990
Fork
113
Merge medio
2g 8h
PR unite (30g)
3

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di pydata/patsy

Tutte le issue di pydata/patsy

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.