numba threadpool under dask results in thread oversubscription
维护者通常 3 天内回复
评估
这个 Issue 还没有评估数据。
描述
When a numba kernel with parallel=True is called from a dask worker thread, numba starts its own thread pool inside dask's. What happens next depends on numba's threading layer. Under workqueue the whole process aborts ("Concurrent access has been detected"); running a percentile over a chunked neighborhood reduction on dask's threaded scheduler reproduces it today. Under omp it doesn't crash, but every calling thread gets a full thread team, so a 12-thread pool grows to 179 OS threads. Only tbb handles it cleanly, and users get whichever layer happens to be installed.
- 主要语言
- Python
- 星标
- 230
- 派生
- 57
- 平均合并
- 4 天 14 小时
- 30 天内合并 PR
- 7
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
UXARRAY/uxarray 的其他 Issue
-
Update installation docs to include new conda recipes可能已有人在做 @Sevans711 于 18 天前认领。 未关闭documentation
难度 1/5 1 小时以内 新手友好度 82/100
UXARRAY/uxarray#1793 · 1 条评论 · 已指派 1 人 ·
维护者通常 3 天内回复
-
developer experience
难度 1/5 1 小时以内 新手友好度 90/100
维护者通常 3 天内回复
-
zonal_mean() and weighted_mean() should return the same type of object可能已有人在做 @Sevans711 于 27 天前认领。 未关闭bug
难度 2/5 1-3 小时 新手友好度 72/100
UXARRAY/uxarray#1733 · 已指派 1 人 ·
维护者通常 3 天内回复
-
documentation
难度 2/5 1-3 小时 新手友好度 70/100
维护者通常 3 天内回复
-
bug
难度 3/5 1-2 天 新手友好度 78/100
维护者通常 3 天内回复
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 83/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 86/100
google-ai-edge/litert-torch#1346 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
geneontology/gocam-py#272 ·
-
pushed_authorization_request sends list authorization_details as a Python repr可能已有人在做 @RaphaelFakhri 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
auth0/auth0-python#903 ·
维护者通常 1 天内回复