CI: Distributed fixtures not compliant with dask-jobqueue
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 20/100
- Tipo de issue
- Refactorización
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- distributed-systems, testing
Línea de trabajo
Comienza revisando los overrides de fixtures descritos en #562, especialmente cleanup, loop y distributed.utils_test.reset_config, y después compáralos con los cambios de distributed enlazados en el issue. Comprueba si la configuración de dask-jobqueue puede restablecerse junto con la configuración de distributed sin overrides, y determina si el fixture loop sigue siendo necesario con SpecCluster. Se considera terminado cuando haya un enfoque acordado, que potencialmente incluya una corrección en distributed.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I hesitated to put this issue as a comment in #567, but I'm under the impression we have two separate problems.
In #562, I override the cleanup fixture from distributed to prevent it from removing the default MainThread loop (so #567 related), but also to make it reload the dask-jobqueue configuration into dask.config. Since distributed last 2022.08.0 version, the loop fixture we used into our tests has also been modified (https://github.com/dask/distributed/commit/172e37f41f84f117ec79a1186a951be6f66db7f3). In this new version, config is also reset, so I directly modify the method distributed.utils_test.reset_config to also reload dask-jobqueue config.
Question is: how could we use these fixtures without these hacks? How to make dask-jobqueue config reset at the same time as the distributed one is reset? Does this need a fix in distributed?
Going further, I have another question of understanding (also expressed here): why do we need the loop fixture? I don't see other Dask cluster deploying system using it. Is this still necessary with SpecCluster?
cc @graingert @jacobtomlinson.
- Lenguaje dominante
- Python
- Estrellas
- 256
- Forks
- 149
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de dask/dask-jobqueue
-
bug LSF
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
dask/dask-jobqueue#703 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
dask/dask-jobqueue#701 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
dask/dask-jobqueue#699 · 2 comentarios ·
-
bug
Dificultad 3/5 1-2 días Aptitud para principiantes 38/100
dask/dask-jobqueue#692 · 1 comentario ·
-
bug
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
dask/dask-jobqueue#691 · 7 comentarios ·
Todos los issues de dask/dask-jobqueue
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
Los mantenedores suelen responder en 1 día
-
enhancement good first issue Stellar Wave trivial
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
StellarCanary/ProtocolCanary-Fixtures#258 ·
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
IBM/ai-atlas-nexus#295 ·
Los mantenedores suelen responder en 6 días
-
github_actions
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Hochfrequenz/aibap.mcp#578 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
mishraprafful/multihull#150 ·
Los mantenedores suelen responder en 1 día