Warn users if multicore summarise_draws risks exhausting available ram
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 45/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- r
- 领域
- performance
调研方向
从 summarise_draws 的 multicore 路径开始，检查 package dependency 是如何声明的，尤其是是否可以将 memuse 添加为建议的 dependency。定义 issue 中描述的 RAM 警告和退出选项行为，然后验证当估算的内存超过可用 RAM 时，multicore 运行会发出警告，并在安全机制被禁用时继续运行。
由索引模型根据 Issue 内容生成。
描述
My first big test of multicore summarise_draws on a really big (~9 GB in memory) array plowed straight into the swap on my 40 GB machine and I had to kill it. Second test, after reducing cores from 4 to 3, was awesome!
If a naive user runs their big model for days and then overenthusiastically runs summarise_draws prior to saving, they could be in a world of hurt.
Given that the main use case for multicore processing with summarise_draws involves really big draws arrays, we could consider adding a .ram_safety = TRUE argument, and then doing:
if (.cores > 1 & .ram_safety & (memuse::memuse(object.size(x)) > (memuse::Sys.meminfo()$totalram / (.cores + 1)))) {
warning(paste("The memory requirements of multi-core processing with", .cores, "cores may exceed the RAM on your system.",
"Consider using fewer cores. If you wish to proceed with", .cores, "cores, set `.ram_safety = FALSE`",
"and save any important objects prior to running."))
} else {
# Do the computation
}
Main drawback is the extra package requirement for multicore (which could go in suggests).
- 主要语言
- R
- 星标
- 172
- 派生
- 27
- 平均合并
- 5 天 12 小时
- 30 天内合并 PR
- 5
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
stan-dev/posterior 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 62/100
-
难度 5/5 一周以上 新手友好度 25/100
-
Use testthat 3e可能已有人在做 @mcol 于 7 天前认领。 未关闭good first issue test
难度 3/5 1-2 天 新手友好度 65/100
-
难度 5/5 一周以上 新手友好度 35/100
-
难度 5/5 一周以上 新手友好度 25/100
查看 stan-dev/posterior 的全部 Issue
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 68/100
cran-task-views/Spatial#127 · 1 条评论 ·
-
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
Add two cautions to the `simulate_dyad_responses()` help可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭documentation priority: low
难度 2/5 1-3 小时 新手友好度 70/100
Pascal-Kueng/dyadMLM#179 ·
维护者通常 1 天内回复
-
Consider changes未关闭
难度 2/5 1-3 小时 新手友好度 68/100
OHDSI/OmopSketch#618 ·
-
难度 2/5 1-3 小时 新手友好度 68/100
GSK-Biostatistics/tfrmt#854 ·