Delayed progress updates to file due to file-system buffering [Was: No near-live progress update when running on a SLURM cluster]
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 38/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- r
- Área
- developer-experience
Línea de trabajo
Empieza ejecutando la configuración reproducible de test.R mediante el trabajo de SLURM definido en test.sh y compara la salida en vivo del archivo con la salida del terminal. Rastrea cómo se emiten las actualizaciones del progreso y se escriben en slurm.out; después, verifica que el progreso informado sea visible mientras el trabajo está en ejecución y añade una prueba de regresión si el repositorio tiene cobertura para este comportamiento.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I want to run a loop in parallel on a SLURM cluster and use progressr to output near-live updates. Here's my setup:
test.R
library("future")
library("furrr")
library("progressr")
options(progressr.enable = TRUE)
handlers(global = TRUE)
handlers(handler_progress(
format = ":current/:total [:bar] :percent in :elapsed, ETA: :eta",
width = 60,
complete = "="
))
plan(cluster)
f <- function(i) {
Sys.sleep(3)
i
}
local({
n <- 100
p <- progressor(n)
result <- future_map(1:n, function(i){
p(class = "sticky")
f(i)
})
})
test.sh
#!/bin/bash
#SBATCH --time=0-00:05:00
#SBATCH --ntasks 10
#SBATCH --output=slurm.out
Rscript test.R
The issue is that when the job is running, cat slurm.out always shows
0/100 [--------------------------------------------------] 0% in 0s, ETA: ? and no live progress is reported. How can I get it to show the current progress?
I have read this discussion on getting a progress bar using future.batchtools and that thread on printing messages to the console when they are generated, but I can't get it to work. Is this a bug?
- Lenguaje dominante
- R
- Estrellas
- 299
- Forks
- 11
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de futureverse/progressr
-
feature request
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
futureverse/progressr#199 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
futureverse/progressr#197 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
futureverse/progressr#195 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 28/100
futureverse/progressr#191 ·
-
question
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
futureverse/progressr#155 · 5 comentarios ·
Todos los issues de futureverse/progressr
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
stan-dev/priorsense#150 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
bennettoxford/opencodecounts#170 ·
-
complexity::1-low effort::1-hours priority::3-could
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
jumpingrivers/audit.workbench#43 ·
Los mantenedores suelen responder en 1 día
-
complexity::1-low effort::1-hours priority::3-could
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
jumpingrivers/audit.connect#71 ·
Los mantenedores suelen responder en 1 día