Update CIME and testing to use batch system for builds
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Área
- build-system, infrastructure, testing
Línea de trabajo
Comienza leyendo run_sys_tests y create_test, centrándote en el flujo qsub existente y en la configuración BATCHED_BUILD descrita en el issue. Comprueba la conexión de ccs_config y la actualización de CIME 6.3.6; después, valida el comportamiento en Izumi y Derecho. Se considerará terminado cuando la nueva opción --no-batch-build funcione según lo previsto y se haya comparado el rendimiento, con los resultados de las pruebas de CESM documentados.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
cime6.3.6 brings in changes so that the batch system can be used to build tests. Currently the builds are done per compiler. So all the intel as one job, all gnu as another, and nvhpc as the third. Because the list of tests aren't balanced between compilers this means the intel builds take the longest, gnu in the middle and nvhpc as a distant third. As noted as a box in #275 balancing the test lists would make this more efficient. However, even better would be to send all the builds to the batch system.
In order to do this, we might need to make a couple changes to run_sys_tests. Currently it sends each compiler run of create_test to a batch job using qsub. Without the builds this step will take a fraction of the time. But, it still probably isn't a problem to send it this way, the create_newcase step for each case does take a while to do.
I also thought that we'd need to add settings about this for the build. But, it looks like BATCHED_BUILD is normally default FALSE. But, it assumes TRUE for testing. But, we should probably add the new argument "--no-batch-build" argument to create_test to run_sys_tests.
This might be something that we have turned on by default, by adding a setting for it in ccs_config. See https://github.com/ESMCI/ccs_config_cesm/issues/290
Definition of done:
- Have @fischer-ncar try this out for CESM on Derecho and report back
- Update to cime6.3.6
- Add --no-batch-build argument to run_sys_tests (do we start with it default on or off?)
- Make sure it turns on correctly
- Test on Izumi/Derecho compare performance
- Lenguaje dominante
- Fortran
- Estrellas
- 352
- Forks
- 366
- Merge medio
- 4 d 12 h
- PR fusionados (30 d)
- 12
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ESCOMP/CTSM
-
Indicate why we have two variables for snow cover fraction (frac_sno_albedo and frac_sno_fluxes) and when they are different.Posiblemente ocupada @olyson la tomó hace 21 días. Abiertob4b docs-loc:tech-note documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
ESCOMP/CTSM#4219 · 1 comentario · 2 asignados ·
Los mantenedores suelen responder en 1 día
-
Change "Spinup" compsets to "Cplhist"Posiblemente ocupada @slevis-lmwg la tomó hace 21 días. Abiertob4b usability
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
ESCOMP/CTSM#4218 · 2 comentarios · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Only test CISM with the latest CLM physics (currently clm6_0)Quizá libre de nuevo @ekluzek la tomó hace 43 días y no hay ningún pull request abierto. Abiertob4b testing
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ESCOMP/CTSM#4168 · 2 comentarios · 2 asignados ·
Los mantenedores suelen responder en 1 día
-
bug non-b4b science
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ESCOMP/CTSM#4119 · 4 comentarios ·
Los mantenedores suelen responder en 1 día
-
b4b code health priority: low size: small
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
Todos los issues de ESCOMP/CTSM
Issues similares
-
ready-for-agent
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
-
Platform: Android Platform: iOS Repro provided
Dificultad 2/5 1-3 horas Aptitud para principiantes 83/100
software-mansion/react-native-reanimated#11061 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
-
verify: just verify runs tools/verify_agents_imports.py (the recipe line was only read, not run)Abiertoneeds-verification
Dificultad 1/5 Menos de una hora Aptitud para principiantes 76/100
EchoTools/nevr-runtime#1322 ·
Los mantenedores suelen responder en 1 día