Very slow scheduling
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- r
- Área
- distributed-systems, hpc
Línea de trabajo
Empieza revisando la documentación de la opción de scheduling y de cualquier flag verbose o de trace. Reproduce el informe con trabajos pequeños en Slurm, comparando los valores de scheduling y los retrasos de lanzamiento. Se considera terminado cuando se haya aislado la causa del scheduling lento y se haya aclarado el comportamiento correspondiente o la documentación.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I am sorry to not have a reproducible example yet. My code base is very large and was running just fine until the job size became small. So I'll make a reproducible example after hearing some suggestions on what to test. In my case, the jobs are rather small - 10s each. The problem I'm seeing is they don't get scheduled very quickly. In fact, at any given time only one slurm job, or at most two, are running (the machine they are running on can run ~15 jobs by ram and cpu requirements). I'm trying to run 60 chunks, and to resolve this problem I set scheduling to 5, which did bump up the number of running jobs to 2-3. However, the main problem is that the chunks seem to take 10-15 seconds to launch, and I don't know what I changed - a few days ago, with larger jobs - this was not the case. So to my specific questions, before I try to generate a small reproducible example:
- Is there a verbose/trace flag? I can't see it in the documentation
- Is there anything to pay attention to beyond the "scheduling" option? Any hunch for what may be causing this issue for me to start looking at in generating an example?
- Lenguaje dominante
- R
- Estrellas
- 87
- Forks
- 10
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de futureverse/future.batchtools
-
feature/resources scheduler/lsf
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
futureverse/future.batchtools#105 ·
-
feature/resources scheduler/sge
Dificultad 4/5 3-5 días Aptitud para principiantes 50/100
futureverse/future.batchtools#104 · 1 comentario ·
-
feature/resources scheduler/slurm
Dificultad 3/5 1-2 días Aptitud para principiantes 66/100
futureverse/future.batchtools#103 ·
-
Add batchtools_hyperqueue() Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 55/100
futureverse/future.batchtools#102 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 15/100
Todos los issues de futureverse/future.batchtools
Issues similares
-
Affects Web App documentation PRIORITY LOW
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 80/100
hubverse-org/hubCI#36 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
-
Release 1.4.0 Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
pharmaverse/pharmaverseadam#170 ·