Allow to start a Scheduler in a batch job
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 20/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- distributed-systems
Línea de trabajo
Empieza leyendo las interfaces ClusterManager, scheduler y adaptive descritas en la issue, junto con el alcance de #170. Determina la API remota upstream necesaria para iniciar y conectar con un scheduler y exponer información de retire_workers, scheduler_info y diagnostic-plugin; se considerará completado cuando exista una implementación acordada para la interfaz remota y el comportamiento adaptive.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
One of the goal of ClusterManager object is to be able to launch a remote scheduler. In dask-jobqueue scope, this probably means submitting a job which will start a Scheduler, and then connect to it.
We probably still lacks some remote interface between ClusterManager and scheduler object for this to work, so it will probably mean to extend APIs upstream.
Identified Scheduler method to provide:
- retire_workers(n, minimum, key)
- scheduler_info(), already existing, see if sufficient,
- add_diagnostic_plugin(), and mostly retrive plugin information remotely
I suspect that adaptive will need to change significantly too, this will maybe lead to having a transitional adaptive logic in dask-jobqueue, and other remote function to add in scheduler.
This is in the scope of #170.
- Lenguaje dominante
- Python
- Estrellas
- 256
- Forks
- 149
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de dask/dask-jobqueue
-
bug LSF
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
dask/dask-jobqueue#703 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
dask/dask-jobqueue#701 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
dask/dask-jobqueue#699 · 2 comentarios ·
-
bug
Dificultad 3/5 1-2 días Aptitud para principiantes 38/100
dask/dask-jobqueue#692 · 1 comentario ·
-
bug
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
dask/dask-jobqueue#691 · 7 comentarios ·
Todos los issues de dask/dask-jobqueue
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
PedestrianDynamics/pyFDS-Evac#343 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
theskumar/python-dotenv#708 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
Los mantenedores suelen responder en 2 días
-
Docs Timedelta
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
pandas-dev/pandas#69919 ·
Los mantenedores suelen responder en 1 día
-
API documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
zephyrproject-rtos/west#1009 · 2 comentarios ·
Los mantenedores suelen responder en 3 días