Unable to load scheduler dashboard in SLURMRunner, but can in cluster
还没有人认领这个 Issue。
评估
调研方向
先从 issue 中链接的 SLURMRunner 和 SLURMCluster 示例开始，然后跟踪 client.dashboard_link 和 scheduler.json 的生成方式，并将它们的行为与通过 sbatch-dispatched 调度的 SLURMCluster 情况进行比较。在所述的 Python 3.11.4、Dask 2023.6.0、CentOS 7 环境中重现 404；当 dashboard 的行为得到解释并被修复或记录后，即视为完成。
由索引模型根据 Issue 内容生成。
描述
Describe the issue:
Thanks for your time in advance. I have created a simple "hello world" example of a SLURMRunner and SLURMCluster in my environment. I like the interface for the SLURMRunner instead of effectively needing to create wrappers around jobs in the SLURMCluster construct.
I dispatch my SLURMCluster job via sbatch (since my login node cannot run my scheduler) to a worker node (node-01), and then this dispatches additional jobs on my worker nodes (node[01-06]). When I do this, I am able to visit the scheduler dashboard, although I am seeing slightly weird behavior in job allocation (not the point of this post, I need to look into this more).
When I create my SLURMRunner (same as this example https://jobqueue.dask.org/en/stable/runners-overview.html), my jobs are getting allocated and run, but I am unable to load the scheduler dashboard. I get a 404 Page Not Found when I visit the scheduler link output by the client.dashboard_link and also in the scheduler.json file. This is not the same as when the runner spins down, as in this case I get the Connection Refused. Is this expected?
Minimal Complete Verifiable Example:
Using the SLURMRunner in my multi-node environment
# Put your MCVE code here
Anything else we need to know?:
Environment:
- Dask version: 2023.6.0
- Python version: 3.11.4
- Operating System: CENTOS-7
- Install method: pip
- 主要语言
- Python
- 星标
- 256
- 派生
- 149
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
dask/dask-jobqueue 的其他 Issue
-
bug LSF
难度 3/5 1-2 天 新手友好度 65/100
dask/dask-jobqueue#703 · 1 条评论 ·
-
难度 4/5 3-5 天 新手友好度 35/100
dask/dask-jobqueue#701 ·
-
难度 3/5 1-2 天 新手友好度 45/100
dask/dask-jobqueue#699 · 2 条评论 ·
-
bug
难度 3/5 1-2 天 新手友好度 38/100
dask/dask-jobqueue#692 · 1 条评论 ·
-
bug
难度 4/5 3-5 天 新手友好度 35/100
dask/dask-jobqueue#691 · 7 条评论 ·
查看 dask/dask-jobqueue 的全部 Issue
相似的 Issue
-
bug server
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
sportsdataverse/sportsdataverse-py#641 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 82/100
googleapis/google-cloud-python#18532 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复