joblib.parallel with patsy?

未關閉
#103 2 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視

還沒有人認領這個 Issue。

評估

難度
5/5
預估耗時
一週以上
新手友好度
25/100
Issue 類型
功能
描述清晰度
需要釐清
活躍度
停滯
技術堆疊
python
領域
data, performance

研究方向

先閱讀 issue 中連結的 patsy/build.py 兩個位置,也就是第 442 行和第 886 行,並檢視 dmatrix 呼叫如何參與其中。在評估 joblib.parallel 之前,先對回報的大型資料集案例進行基準測試;該 issue 目前尚未定義已達成共識的實作或可測試的完成標準。

由索引模型根據 Issue 內容生成。

描述

So one of my datasets can be super-huge and therefore, super-slow by my impatient standards. I can sit there for 3-5 minutes just waiting for a design matrix to be built (on one core). There's lots of terms/factors in this model. I have plenty of spare CPU's just sitting waiting for this to finish before the GLM can be kicked off.

Crazy idea... would it make any sense to incorporate joblib.parallel in patsy?

I have 2 ideas...

Simple idea is to just call joblib.parallel on the dmatrix call and make those in parallel.

Slightly more crazy idea would be to try to incorporate this inside patsy. I see 2 potential (somewhat) easy placements...

here and here

I recognize this brings opens a can of worms--transferring the data and state between the parent and child nodes is not free... new complexity in debugging... And doing things in parallel should be after other optimizations. (Tell me... is 5 minutes to run dmatrix on 30 million rows with about 50 output columns slower than you'd think?)

So before I go down this potentially very dumb rabbit hole, I'm happy to hear the thoughts of people who have better knowledge/experience with these topics.

主要語言
Python
星號
990
分支
113
平均合併
2 天 8 小時
30 天內合併 PR
3

環境準備

這個專案沒有提供開發容器、Dockerfile 或貢獻指南,環境需要你自己搭建:先看它的 README,通用步驟見我們的新手貢獻指南。

從這裡開始

  1. 先讀完整個 Issue,再讀專案的貢獻指南。
  2. 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
  3. Fork 儲存庫,在一個分支上完成修改。
  4. 送出 Pull Request,並在描述裡引用這個 Issue 編號。

pydata/patsy 的其他 Issue

查看 pydata/patsy 的全部 Issue

相似的 Issue

更多 Python Issue

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。