SGE configuration resulting in memory blocked jobs in H-series nodes
@mvrequa ci sta già lavorando.
Dal 3/8/2021.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Cyclecloud version: 8.1.0-1275
OS Image: HPC:CentOS8.1
Problem: Issues with Infiniband connectivity
I was running a small cluster in cyclecloud 7 and recently I updated to cyclecloud 8, the cluster has several node arrays, some non H-series and other H-series for MPI heavy calculations. I noticed that there seems to be a different behaviour in the Infiniband connectivity between 7 and 8. I have tracked part of the problem to the SGE configuration.
The SGE configuration provided in cyclecloud 8.1.0-1275 with the HPC:CentOS8.1 has the variable execd_params set to none. This can result in problems when trying to execute MPI jobs in H-series nodes with Infiniband.
The jobs would fail reporting that the the process cannot allocate the necessary memory, this issue can be manually fixed by setting execd_params H_MEMORYLOCKED=unlimited.
I have tested this using several MPI heavy programs such as VASP and QE , which were running in non H-series nodes without problem, but when trying to run in H-series would consistently fail. After the change of execd_params the programs would run.
However, something I noticed from updating to cyclecloud8 from cyclecloud7 is that running MPI jobs in non H-series jobs using inter node communication seems to no longer be possible.
- Lingua principale
- Python
- Stelle
- 7
- Fork
- 18
- Merge medio
- 2g 13h
- PR unite (30g)
- 7
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Azure/cyclecloud-gridengine
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 42/100
-
ubuntu deployment issue Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 42/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 45/100
Tutte le issue di Azure/cyclecloud-gridengine
Issue simili
-
bug priority:low
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
CyberAgent/psd2svg#436 ·
-
area/install-update comp/cli comp/desktop P3 sweeper:risk-compatibility type/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
NousResearch/hermes-agent#122386 · 1 commento ·
-
ai-generated
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
vllm-project/production-stack#1105 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100