joblib.parallel with patsy?

Offen
#103 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Anfängerfreundlichkeit
25/100
Issue-Typ
Feature
Klarheit
Muss geklärt werden
Aktivitätsstatus
Veraltet
Tech-Stack
python
Bereich
data, performance

Rechercherichtung

Beginnen Sie mit dem Lesen von patsy/build.py an den beiden im Issue verlinkten Stellen, in den Zeilen 442 und 886, und prüfen Sie, wie der Aufruf von dmatrix dabei eine Rolle spielt. Erstellen Sie einen Benchmark für den gemeldeten Fall mit einem großen Datensatz, bevor Sie joblib.parallel evaluieren; das Issue definiert noch keine vereinbarte Implementierung oder testbaren Abschlusskriterien.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

So one of my datasets can be super-huge and therefore, super-slow by my impatient standards. I can sit there for 3-5 minutes just waiting for a design matrix to be built (on one core). There's lots of terms/factors in this model. I have plenty of spare CPU's just sitting waiting for this to finish before the GLM can be kicked off.

Crazy idea... would it make any sense to incorporate joblib.parallel in patsy?

I have 2 ideas...

Simple idea is to just call joblib.parallel on the dmatrix call and make those in parallel.

Slightly more crazy idea would be to try to incorporate this inside patsy. I see 2 potential (somewhat) easy placements...

here and here

I recognize this brings opens a can of worms--transferring the data and state between the parent and child nodes is not free... new complexity in debugging... And doing things in parallel should be after other optimizations. (Tell me... is 5 minutes to run dmatrix on 30 million rows with about 50 output columns slower than you'd think?)

So before I go down this potentially very dumb rabbit hole, I'm happy to hear the thoughts of people who have better knowledge/experience with these topics.

Vorherrschende Sprache
Python
Sterne
990
Forks
113
Ø Merge
2 T. 8 Std.
Gemergte PRs (30 T.)
3

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus pydata/patsy

Alle Issues in pydata/patsy

Ähnliche Issues

Weitere Issues zu Python

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.