Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Add support for dask-ctl

Abierto
  • ¿Algo no está bien?
#544 5 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
25/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
python
Área
distributed-systems, infrastructure

Línea de trabajo

Empieza leyendo los requisitos de dask-ctl para cada gestor de clusters junto con las implementaciones de Cluster existentes de dask-jobqueue y las restricciones de los planificadores HPC. Se considera completado cuando se admita la eliminación sin destruir el cluster remoto, se puedan listar los clusters en ejecución, se pueda recrear un objeto Cluster para un cluster existente y el scheduler siga siendo remoto.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

As mentioned in #543 it would be really nice for dask-jobqueue to support dask-ctl for convenient cluster management. However from what I understand about HPC scheduling systems this may not be a trivial task.

Dask Control aims to allow users to create/list/scale/delete Dask clusters via the CLI and a Python API. Support for dask-ctl is implements on a per-cluster manager basis with the following tasks.

  • It must be possible to delete a Cluster object without destroying the Dask cluster
  • It must be possible to list all running clusters
  • It must be possible to create a new instance of the Cluster object that represents an existing cluster

The main challenges here are around moving the state out of the Cluster object into a place that it can be retrieved later. On platforms like Kubernetes or the Cloud much of the state can be serialised into tags/labels on the various tasks, but I'm not sure how many HPC systems support this kind of metadata storage.

The other challenge is how to discover clusters. On Kubernetes for example we set a tag on all resources that marks it as being created by dask-ctl and stores an ID that can be used to retrieve the metadata. Again I'm not sure how flexible HPC schedulers are at being able to tag/label jobs with arbitrary metadata.

The last thing that maybe a blocker is that the Dask cluster must always run the scheduler remotely, it cannot be within the local (or login node) Python process. I'm not sure how that affects things here.

I'm keen to see this happen, and if folks have thoughts on how this can be implemented I'd be keen to hear.

Lenguaje dominante
Python
Estrellas
256
Forks
149
Sin PR fusionados en 30 d

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de dask/dask-jobqueue

Todos los issues de dask/dask-jobqueue

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.