joblib.parallel with patsy?
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 25/100
- Issue-Typ
- Feature
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- data, performance
Rechercherichtung
Beginnen Sie mit dem Lesen von patsy/build.py an den beiden im Issue verlinkten Stellen, in den Zeilen 442 und 886, und prüfen Sie, wie der Aufruf von dmatrix dabei eine Rolle spielt. Erstellen Sie einen Benchmark für den gemeldeten Fall mit einem großen Datensatz, bevor Sie joblib.parallel evaluieren; das Issue definiert noch keine vereinbarte Implementierung oder testbaren Abschlusskriterien.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
So one of my datasets can be super-huge and therefore, super-slow by my impatient standards. I can sit there for 3-5 minutes just waiting for a design matrix to be built (on one core). There's lots of terms/factors in this model. I have plenty of spare CPU's just sitting waiting for this to finish before the GLM can be kicked off.
Crazy idea... would it make any sense to incorporate joblib.parallel in patsy?
I have 2 ideas...
Simple idea is to just call joblib.parallel on the dmatrix call and make those in parallel.
Slightly more crazy idea would be to try to incorporate this inside patsy. I see 2 potential (somewhat) easy placements...
I recognize this brings opens a can of worms--transferring the data and state between the parent and child nodes is not free... new complexity in debugging... And doing things in parallel should be after other optimizations. (Tell me... is 5 minutes to run dmatrix on 30 million rows with about 50 output columns slower than you'd think?)
So before I go down this potentially very dumb rabbit hole, I'm happy to hear the thoughts of people who have better knowledge/experience with these topics.
- Vorherrschende Sprache
- Python
- Sterne
- 990
- Forks
- 113
- Ø Merge
- 2 T. 8 Std.
- Gemergte PRs (30 T.)
- 3
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus pydata/patsy
-
VarLookupDict should implement __iter__, causes CPython crash when using statsmodels in marimo notebookEvtl. vergeben @kouyouqi123 hat das vor 173 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
-
Add link to license in readmeEvtl. vergeben @zheng-guannan577 hat das vor 9 Tagen übernommen. Offen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 72/100
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 68/100
-
Nullable pandas dtypes crash in categorical handling: "Cannot interpret 'BooleanDtype' as a data type"Evtl. vergeben @RaphaelFakhri hat das vor 15 Tagen übernommen. Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100
-
cc() truncates periodic coordinates for integer input with fractional boundsEvtl. vergeben @ktz03 hat das vor 39 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 35/100
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 64/100
Maintainer antworten meist innerhalb von 1 Tag
-
Harden tools/pr_threads.sh: pass all printed thread fields through the deterministic sanitizerOffenarea:cli area:security enhancement priority:medium size:small
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
RonaldHensbergen/composable-data-stack#1338 ·
Maintainer antworten meist innerhalb von 1 Tag
-
area:stdlib effort:S impact:med platform:linux type:bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
Maintainer antworten meist innerhalb von 1 Tag
-
automated endpoint-dead needs-curation
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
almanac-data/climate-almanac#139 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
UKGovernmentBEIS/inspect_ai#6695 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag