Connect to dask-scheduler from local workstation (maybe update documentation?)
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 35/100
- issue の種類
- ドキュメント
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
リポジトリの既存のドキュメントを確認し、issue に示されている SSH-tunnel workflow を記載する適切な場所を特定します。PBSCluster、scheduler port、dashboard tunnel、およびローカル Client の手順を検証し、ローカルワークステーションから計算を投入して dashboard にアクセスできるよう、プロセス全体をドキュメント化します。
索引モデルが issue の本文から書いたものです。
説明
I connect to dask-scheduler from my local workstation to submit my computations (using a ssh tunnel).
I have had other people tell me a similar thing (third bullet point of https://github.com/dask/dask-jobqueue/issues/186#issuecomment-542027057). If you manage to make that work, please let us know (ideally in a separate issue).
Originally posted by @lesteve in https://github.com/dask/dask-jobqueue/issues/186#issuecomment-568265386
This helps circumvent problems where the login node of a cluster has very limited computing power and where you are not allowed to submit jobs from interactive nodes.
The idea is that the login node runs dask-scheduler and we submit the computations to it from a local workstation. The steps to do this:
- start
ipythonon the login node and start the cluster, e.g.
from dask_jobqueue import PBSCluster
cluster = PBSCluster(…)
cluster.scale(100)
- check the address of the cluster
In [2]: cluster
Out[2]: PBSCluster('tcp://192.168.57.5:43704', workers=100, threads=100, memory=250GB)
- Taking note of the port of the scheduler (43704), now on the local machine setup an ssh tunnel to the cluster (and the dashboard)
ssh -N -L 8786:localhost:43704 -L 8787:localhost:8787 login.cluster
-
You should be able to access the dashboard on the local machine (localhost:8787)
-
Setup the
Clienton your local machine as follows:
from dask.distributed import Client
client = Client("tcp://localhost:8786")
Now you should be able to submit computations to the cluster from your local machine.
- 主要言語
- Python
- スター
- 256
- フォーク
- 149
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
dask/dask-jobqueue のほかの issue
-
bug LSF
難易度 3/5 1〜2日 初心者へのやさしさ 65/100
dask/dask-jobqueue#703 · コメント 1 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
dask/dask-jobqueue#701 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
dask/dask-jobqueue#699 · コメント 2 件 ·
-
bug
難易度 3/5 1〜2日 初心者へのやさしさ 38/100
dask/dask-jobqueue#692 · コメント 1 件 ·
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
dask/dask-jobqueue#691 · コメント 7 件 ·
dask/dask-jobqueue の issue をすべて見る
似ている issue
-
ACK_WAITING HELP_WANTED UPDATE_CS
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
OWASP/CheatSheetSeries#2458 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 90/100
BasedHardware/omi#19711 ·
メンテナーはふだん 1 日以内に返信
-
Qwen3_5MoeModel no longer returns router_logits, breaking aux loss with output_router_logits=Trueオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
huggingface/transformers#49172 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
vllm-project/vllm-metal#885 ·
メンテナーはふだん 1 日以内に返信