Connect to dask-scheduler from local workstation (maybe update documentation?)
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 35/100
- Tipo di issue
- Documentazione
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- distributed-systems, documentation, hpc
Direzione di ricerca
Esamina la documentazione esistente del repository e individua il punto appropriato per il workflow SSH-tunnel mostrato nell’issue. Verifica PBSCluster, lo scheduler port, il dashboard tunnel e i passaggi del Client locale, quindi documenta il processo completo affinché una workstation locale possa inviare calcoli e accedere al dashboard.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I connect to dask-scheduler from my local workstation to submit my computations (using a ssh tunnel).
I have had other people tell me a similar thing (third bullet point of https://github.com/dask/dask-jobqueue/issues/186#issuecomment-542027057). If you manage to make that work, please let us know (ideally in a separate issue).
Originally posted by @lesteve in https://github.com/dask/dask-jobqueue/issues/186#issuecomment-568265386
This helps circumvent problems where the login node of a cluster has very limited computing power and where you are not allowed to submit jobs from interactive nodes.
The idea is that the login node runs dask-scheduler and we submit the computations to it from a local workstation. The steps to do this:
- start
ipythonon the login node and start the cluster, e.g.
from dask_jobqueue import PBSCluster
cluster = PBSCluster(…)
cluster.scale(100)
- check the address of the cluster
In [2]: cluster
Out[2]: PBSCluster('tcp://192.168.57.5:43704', workers=100, threads=100, memory=250GB)
- Taking note of the port of the scheduler (43704), now on the local machine setup an ssh tunnel to the cluster (and the dashboard)
ssh -N -L 8786:localhost:43704 -L 8787:localhost:8787 login.cluster
-
You should be able to access the dashboard on the local machine (localhost:8787)
-
Setup the
Clienton your local machine as follows:
from dask.distributed import Client
client = Client("tcp://localhost:8786")
Now you should be able to submit computations to the cluster from your local machine.
- Lingua principale
- Python
- Stelle
- 256
- Fork
- 149
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di dask/dask-jobqueue
-
bug LSF
Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100
dask/dask-jobqueue#703 · 1 commento ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
dask/dask-jobqueue#701 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
dask/dask-jobqueue#699 · 2 commenti ·
-
bug
Difficoltà 3/5 1-2 giorni Idoneità per principianti 38/100
dask/dask-jobqueue#692 · 1 commento ·
-
bug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
dask/dask-jobqueue#691 · 7 commenti ·
Tutte le issue di dask/dask-jobqueue
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
PedestrianDynamics/pyFDS-Evac#343 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
theskumar/python-dotenv#708 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 2 giorni
-
Docs Timedelta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
pandas-dev/pandas#69919 ·
I maintainer di solito rispondono entro 1 giorno
-
API documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
zephyrproject-rtos/west#1009 · 2 commenti ·
I maintainer di solito rispondono entro 3 giorni