Retry slurm-commands on error
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- r
- Ambito
- distributed-systems
Direzione di ricerca
Inizia tracciando i percorsi del backend Slurm che invocano sbatch e squeue, quindi esamina come vengono attualmente segnalati i fallimenti dei comandi. Il lavoro è completato quando un'opzione controlla il numero di tentativi e il ritardo per gli errori transitori dei comandi Slurm, consentendo di continuare con gli invii e l'elenco dei job dopo tentativi riusciti; l'issue non indica file o test.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I am working on a cluster where squeue and sbatch sometimes fail, for whatever reason.
Submitting 1080000 jobs in 1080 chunks using cluster functions 'Slurm' ...
Submitting [========>------------------------------------------] 17% eta: 11mError: Fatal error occurred: 101. Command 'sbatch' produced exit code 1. Output: 'sbatch: error: Invalid user for SlurmUser slurm, ignored
sbatch: fatal: Unable to process configuration file'
Submitting 15000000 jobs in 7500 chunks using cluster functions 'Slurm' ...
Submitting [===========================>-----------------------] 55% eta: 4hError: Listing of jobs failed (exit code 1);
cmd: 'squeue --user=$USER --states=R,S,CG,RS,SI,SO,ST --noheader --format=%i -r'
output:
squeue: error: Invalid user for SlurmUser slurm, ignored
squeue: fatal: Unable to process configuration file
these errors are transient; after resubmitting the jobs, everything continues as it should. It would be nice to have an option for this to happen automatically, since then one could let batchtools submit jobs over night. My suggestion would be to give an option to retry slurm commands X times with Y seconds of pause in between (possibly with exponential backoff).
- Lingua principale
- R
- Stelle
- 184
- Fork
- 51
- Merge medio
- 1g 20h
- PR unite (30g)
- 3
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di mlr-org/batchtools
-
Honest R dependency policyApertacompat docs
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
mlr-org/batchtools#332 · 5 commenti ·
-
cf-slurm downstream robustness
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
mlr-org/batchtools#331 · 1 commento ·
-
compat robustness
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
mlr-org/batchtools#317 · 1 commento ·
-
cf-slurm needs-repro question
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
mlr-org/batchtools#315 · 1 commento ·
-
`loadRegistry` assigns exported objects into the global namespaceForse già presa Una pull request collegata a questa issue è aperta o già unita. Apertacompat
Difficoltà 2/5 1-3 ore Idoneità per principianti 48/100
mlr-org/batchtools#304 · 2 commenti ·
Tutte le issue di mlr-org/batchtools
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 71/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
OHDSI/PatientLevelPrediction#688 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
rfordatascience/tidytuesday#1098 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno