joblib.parallel with patsy?
還沒有人認領這個 Issue。
評估
- 難度
- 5/5
- 預估耗時
- 一週以上
- 新手友好度
- 25/100
- Issue 類型
- 功能
- 描述清晰度
- 需要釐清
- 活躍度
- 停滯
- 技術堆疊
- python
- 領域
- data, performance
研究方向
先閱讀 issue 中連結的 patsy/build.py 兩個位置,也就是第 442 行和第 886 行,並檢視 dmatrix 呼叫如何參與其中。在評估 joblib.parallel 之前,先對回報的大型資料集案例進行基準測試;該 issue 目前尚未定義已達成共識的實作或可測試的完成標準。
由索引模型根據 Issue 內容生成。
描述
So one of my datasets can be super-huge and therefore, super-slow by my impatient standards. I can sit there for 3-5 minutes just waiting for a design matrix to be built (on one core). There's lots of terms/factors in this model. I have plenty of spare CPU's just sitting waiting for this to finish before the GLM can be kicked off.
Crazy idea... would it make any sense to incorporate joblib.parallel in patsy?
I have 2 ideas...
Simple idea is to just call joblib.parallel on the dmatrix call and make those in parallel.
Slightly more crazy idea would be to try to incorporate this inside patsy. I see 2 potential (somewhat) easy placements...
I recognize this brings opens a can of worms--transferring the data and state between the parent and child nodes is not free... new complexity in debugging... And doing things in parallel should be after other optimizations. (Tell me... is 5 minutes to run dmatrix on 30 million rows with about 50 output columns slower than you'd think?)
So before I go down this potentially very dumb rabbit hole, I'm happy to hear the thoughts of people who have better knowledge/experience with these topics.
- 主要語言
- Python
- 星號
- 990
- 分支
- 113
- 平均合併
- 2 天 8 小時
- 30 天內合併 PR
- 3
環境準備
這個專案沒有提供開發容器、Dockerfile 或貢獻指南,環境需要你自己搭建:先看它的 README,通用步驟見我們的新手貢獻指南。
從這裡開始
- 先讀完整個 Issue,再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫,在一個分支上完成修改。
- 送出 Pull Request,並在描述裡引用這個 Issue 編號。
pydata/patsy 的其他 Issue
-
VarLookupDict should implement __iter__, causes CPython crash when using statsmodels in marimo notebook可能已有人在做 @kouyouqi123 於 173 天前認領。 未關閉
難度 2/5 1-3 小時 新手友好度 72/100
-
Add link to license in readme可能已有人在做 @zheng-guannan577 於 9 天前認領。 未關閉
難度 1/5 1 小時以內 新手友好度 72/100
-
難度 1/5 1 小時以內 新手友好度 68/100
-
Nullable pandas dtypes crash in categorical handling: "Cannot interpret 'BooleanDtype' as a data type"可能已有人在做 @RaphaelFakhri 於 15 天前認領。 未關閉
難度 3/5 1-2 天 新手友好度 35/100
-
cc() truncates periodic coordinates for integer input with fractional bounds可能已有人在做 @ktz03 於 39 天前認領。 未關閉
難度 2/5 1-3 小時 新手友好度 35/100
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 64/100
維護者通常 1 天內回覆
-
area:cli area:security enhancement priority:medium size:small
難度 2/5 1-3 小時 新手友好度 76/100
RonaldHensbergen/composable-data-stack#1338 ·
維護者通常 1 天內回覆
-
area:stdlib effort:S impact:med platform:linux type:bug
難度 2/5 1-3 小時 新手友好度 84/100
維護者通常 1 天內回覆
-
automated endpoint-dead needs-curation
難度 2/5 1-3 小時 新手友好度 76/100
almanac-data/climate-almanac#139 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 82/100
UKGovernmentBEIS/inspect_ai#6695 · 1 則留言 ·
維護者通常 1 天內回覆