Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Connect to dask-scheduler from local workstation (maybe update documentation?)

Abierto
  • ¿Algo no está bien?
#377 1 comentario 1 reacción 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
35/100
Tipo de issue
Documentación
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
python
Área
distributed-systems, documentation, hpc

Línea de trabajo

Revisa la documentación existente del repositorio e identifica el lugar adecuado para el flujo de trabajo de SSH-tunnel mostrado en el issue. Verifica PBSCluster, el scheduler port, el dashboard tunnel y los pasos del Client local; después, documenta el proceso completo para que una estación de trabajo local pueda enviar cálculos y acceder al dashboard.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

documentation

I connect to dask-scheduler from my local workstation to submit my computations (using a ssh tunnel).

I have had other people tell me a similar thing (third bullet point of https://github.com/dask/dask-jobqueue/issues/186#issuecomment-542027057). If you manage to make that work, please let us know (ideally in a separate issue).

Originally posted by @lesteve in https://github.com/dask/dask-jobqueue/issues/186#issuecomment-568265386

This helps circumvent problems where the login node of a cluster has very limited computing power and where you are not allowed to submit jobs from interactive nodes.

The idea is that the login node runs dask-scheduler and we submit the computations to it from a local workstation. The steps to do this:

  1. start ipython on the login node and start the cluster, e.g.
from dask_jobqueue import PBSCluster 
cluster = PBSCluster(…)
cluster.scale(100)
  1. check the address of the cluster
In [2]: cluster                                                 
Out[2]: PBSCluster('tcp://192.168.57.5:43704', workers=100, threads=100, memory=250GB)
  1. Taking note of the port of the scheduler (43704), now on the local machine setup an ssh tunnel to the cluster (and the dashboard)
ssh -N -L 8786:localhost:43704 -L 8787:localhost:8787 login.cluster

  1. You should be able to access the dashboard on the local machine (localhost:8787)

  2. Setup the Client on your local machine as follows:

from dask.distributed import Client
client = Client("tcp://localhost:8786")

Now you should be able to submit computations to the cluster from your local machine.

Lenguaje dominante
Python
Estrellas
256
Forks
149
Sin PR fusionados en 30 d

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de dask/dask-jobqueue

Todos los issues de dask/dask-jobqueue

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.