Delayed progress updates to file due to file-system buffering [Was: No near-live progress update when running on a SLURM cluster]
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 38/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- r
- Ambito
- developer-experience
Direzione di ricerca
Inizia eseguendo la configurazione riproducibile in test.R tramite il job SLURM definito in test.sh e confronta l’output live del file con l’output del terminale. Traccia come vengono emessi gli aggiornamenti dell’avanzamento e scritti in slurm.out, quindi verifica che l’avanzamento riportato diventi visibile mentre il job è in esecuzione e aggiungi un test di regressione se il repository ha una copertura per questo comportamento.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I want to run a loop in parallel on a SLURM cluster and use progressr to output near-live updates. Here's my setup:
test.R
library("future")
library("furrr")
library("progressr")
options(progressr.enable = TRUE)
handlers(global = TRUE)
handlers(handler_progress(
format = ":current/:total [:bar] :percent in :elapsed, ETA: :eta",
width = 60,
complete = "="
))
plan(cluster)
f <- function(i) {
Sys.sleep(3)
i
}
local({
n <- 100
p <- progressor(n)
result <- future_map(1:n, function(i){
p(class = "sticky")
f(i)
})
})
test.sh
#!/bin/bash
#SBATCH --time=0-00:05:00
#SBATCH --ntasks 10
#SBATCH --output=slurm.out
Rscript test.R
The issue is that when the job is running, cat slurm.out always shows
0/100 [--------------------------------------------------] 0% in 0s, ETA: ? and no live progress is reported. How can I get it to show the current progress?
I have read this discussion on getting a progress bar using future.batchtools and that thread on printing messages to the console when they are generated, but I can't get it to work. Is this a bug?
- Lingua principale
- R
- Stelle
- 299
- Fork
- 11
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di futureverse/progressr
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 63/100
futureverse/progressr#198 · 1 commento ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
futureverse/progressr#197 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100
futureverse/progressr#195 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 28/100
futureverse/progressr#191 ·
-
question
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
futureverse/progressr#155 · 5 commenti ·
Tutte le issue di futureverse/progressr
Issue simili
-
Difficoltà 2/5 Mezza giornata Idoneità per principianti 78/100
ThinkR-open/datadiff#59 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
duckdb/duckdb-r#2773 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
tidymodels/parsnip#1444 ·
I maintainer di solito rispondono entro 4 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100