SGE configuration resulting in memory blocked jobs in H-series nodes
@mvrequa ya está trabajando en esto.
Desde el 3/8/2021.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Cyclecloud version: 8.1.0-1275
OS Image: HPC:CentOS8.1
Problem: Issues with Infiniband connectivity
I was running a small cluster in cyclecloud 7 and recently I updated to cyclecloud 8, the cluster has several node arrays, some non H-series and other H-series for MPI heavy calculations. I noticed that there seems to be a different behaviour in the Infiniband connectivity between 7 and 8. I have tracked part of the problem to the SGE configuration.
The SGE configuration provided in cyclecloud 8.1.0-1275 with the HPC:CentOS8.1 has the variable execd_params set to none. This can result in problems when trying to execute MPI jobs in H-series nodes with Infiniband.
The jobs would fail reporting that the the process cannot allocate the necessary memory, this issue can be manually fixed by setting execd_params H_MEMORYLOCKED=unlimited.
I have tested this using several MPI heavy programs such as VASP and QE , which were running in non H-series nodes without problem, but when trying to run in H-series would consistently fail. After the change of execd_params the programs would run.
However, something I noticed from updating to cyclecloud8 from cyclecloud7 is that running MPI jobs in non H-series jobs using inter node communication seems to no longer be possible.
- Lenguaje dominante
- Python
- Estrellas
- 7
- Forks
- 18
- Merge medio
- 1 d 5 h
- PR fusionados (30 d)
- 5
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de Azure/cyclecloud-gridengine
-
Use short dns suffix by defaultAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 42/100
-
ubuntu deployment issueAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 42/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100
Todos los issues de Azure/cyclecloud-gridengine
Issues similares
-
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
gradio-app/gradio#13964 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 93/100
BSData/horus-heresy-3rd-edition#3232 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
jbacalso24/mimry#123 ·
Los mantenedores suelen responder en 1 día
-
p:3-mid pydanty:bug pydanty:is-working
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
pydantic/pydantic-ai#10153 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
good first issue priority: medium size: S testing
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
cubrid-lab/cubrid-cookbook-python#316 ·
Los mantenedores suelen responder en 1 día