Static memory used by engines
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- jupyter, python
调研方向
首先复现报告中的设置：在两个节点上启动 16 个 engine，并按照说明使用 htop，将每个节点的基线内存与启动后的内存进行比较。分离 engine 和 nanny 进程的内存使用情况，然后确定 engine 的静态分配由什么构成。完成的标准是降低每个 engine 的空闲内存占用，并使用相同的测量方式验证这一变更。
由索引模型根据 Issue 内容生成。
描述
It seems like the engines use a lot of "static" memory, i.e. when we start the engines, they take up noticeable memory even when nothing has been executed. In our testing, we started 16 engines across 2 nodes, and as soon as we did, the memory usage on each node went from ~150MB to ~1.2GB, i.e. it seems like 8 engines consume ~1.05GB static memory. This is of course both the engine and nanny process, but based on htop , almost all of it seems to come from the engine process. ~134MB static memory usage per engine seems a bit high. Is there a way we could reduce this?
- 主要语言
- Jupyter Notebook
- 星标
- 2.6k
- 派生
- 1k
- PR 合并指标
- 30 天内没有已合并 PR
贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
ipython/ipyparallel 的其他 Issue
-
难度 4/5 3-5 天 新手友好度 48/100
ipython/ipyparallel#1029 · 9 条评论 ·
-
难度 2/5 1-3 小时 新手友好度 35/100
ipython/ipyparallel#984 ·
-
难度 4/5 3-5 天 新手友好度 35/100
ipython/ipyparallel#937 · 4 条评论 ·
-
question
难度 5/5 一周以上 新手友好度 25/100
ipython/ipyparallel#897 · 12 条评论 ·
-
bug
难度 4/5 3-5 天 新手友好度 35/100
ipython/ipyparallel#882 ·
查看 ipython/ipyparallel 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 78/100
huggingface/accelerate#4306 ·
-
难度 2/5 1-3 小时 新手友好度 88/100
-
bug 🐞 distributed 🕸️
难度 2/5 1-3 小时 新手友好度 82/100
CliMA/Oceananigans.jl#6049 ·
-
难度 2/5 1-3 小时 新手友好度 78/100
-
bug
难度 2/5 1-3 小时 新手友好度 85/100
tenstorrent/tt-metal#57220 ·