Very slow scheduling
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- r
- Ambito
- distributed-systems, hpc
Direzione di ricerca
Inizia esaminando la documentazione relativa all’opzione di scheduling e a qualsiasi flag verbose o di trace. Riproduci il problema segnalato con piccoli job su Slurm, confrontando i valori di scheduling e i ritardi di avvio. Il lavoro è completato quando la causa dello scheduling lento è stata isolata e il comportamento appropriato o la documentazione sono stati chiariti.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I am sorry to not have a reproducible example yet. My code base is very large and was running just fine until the job size became small. So I'll make a reproducible example after hearing some suggestions on what to test. In my case, the jobs are rather small - 10s each. The problem I'm seeing is they don't get scheduled very quickly. In fact, at any given time only one slurm job, or at most two, are running (the machine they are running on can run ~15 jobs by ram and cpu requirements). I'm trying to run 60 chunks, and to resolve this problem I set scheduling to 5, which did bump up the number of running jobs to 2-3. However, the main problem is that the chunks seem to take 10-15 seconds to launch, and I don't know what I changed - a few days ago, with larger jobs - this was not the case. So to my specific questions, before I try to generate a small reproducible example:
- Is there a verbose/trace flag? I can't see it in the documentation
- Is there anything to pay attention to beyond the "scheduling" option? Any hunch for what may be causing this issue for me to start looking at in generating an example?
- Lingua principale
- R
- Stelle
- 87
- Fork
- 10
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di futureverse/future.batchtools
-
feature/resources scheduler/lsf
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
futureverse/future.batchtools#105 ·
-
feature/resources scheduler/sge
Difficoltà 4/5 3-5 giorni Idoneità per principianti 50/100
futureverse/future.batchtools#104 · 1 commento ·
-
feature/resources scheduler/slurm
Difficoltà 3/5 1-2 giorni Idoneità per principianti 66/100
futureverse/future.batchtools#103 ·
-
Add batchtools_hyperqueue() Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 55/100
futureverse/future.batchtools#102 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 15/100
Tutte le issue di futureverse/future.batchtools
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
briandconnelly/airnow#9 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
OHDSI/CohortConstructor#774 ·
-
pre-review R TeX Track: 5 (DSAIS)
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 60/100
openjournals/joss-reviews#11330 · 7 commenti ·
-
Release autosync 0.1.1 Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100