Update CIME and testing to use batch system for builds
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Ambito
- build-system, infrastructure, testing
Direzione di ricerca
Inizia leggendo run_sys_tests e create_test, concentrandoti sul flusso qsub esistente e sull'impostazione BATCHED_BUILD descritta nell'issue. Controlla la connessione ccs_config e l'aggiornamento a CIME 6.3.6, quindi valida il comportamento su Izumi e Derecho. Il lavoro è completato quando la nuova opzione --no-batch-build funziona come previsto e le prestazioni sono state confrontate, con i test CESM riportati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
cime6.3.6 brings in changes so that the batch system can be used to build tests. Currently the builds are done per compiler. So all the intel as one job, all gnu as another, and nvhpc as the third. Because the list of tests aren't balanced between compilers this means the intel builds take the longest, gnu in the middle and nvhpc as a distant third. As noted as a box in #275 balancing the test lists would make this more efficient. However, even better would be to send all the builds to the batch system.
In order to do this, we might need to make a couple changes to run_sys_tests. Currently it sends each compiler run of create_test to a batch job using qsub. Without the builds this step will take a fraction of the time. But, it still probably isn't a problem to send it this way, the create_newcase step for each case does take a while to do.
I also thought that we'd need to add settings about this for the build. But, it looks like BATCHED_BUILD is normally default FALSE. But, it assumes TRUE for testing. But, we should probably add the new argument "--no-batch-build" argument to create_test to run_sys_tests.
This might be something that we have turned on by default, by adding a setting for it in ccs_config. See https://github.com/ESMCI/ccs_config_cesm/issues/290
Definition of done:
- Have @fischer-ncar try this out for CESM on Derecho and report back
- Update to cime6.3.6
- Add --no-batch-build argument to run_sys_tests (do we start with it default on or off?)
- Make sure it turns on correctly
- Test on Izumi/Derecho compare performance
- Lingua principale
- Fortran
- Stelle
- 352
- Fork
- 365
- Merge medio
- 4g 12h
- PR unite (30g)
- 12
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ESCOMP/CTSM
-
Indicate why we have two variables for snow cover fraction (frac_sno_albedo and frac_sno_fluxes) and when they are different.Forse già presa @olyson l’ha presa 20 giorni fa. Apertab4b docs-loc:tech-note documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
ESCOMP/CTSM#4219 · 1 commento · 2 assegnatari ·
I maintainer di solito rispondono entro 1 giorno
-
Change "Spinup" compsets to "Cplhist"Forse già presa @slevis-lmwg l’ha presa 20 giorni fa. Apertab4b usability
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
ESCOMP/CTSM#4218 · 2 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
Only test CISM with the latest CLM physics (currently clm6_0)Forse di nuovo libera @ekluzek l’ha presa 42 giorni fa e non c’è nessuna pull request aperta. Apertab4b testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ESCOMP/CTSM#4168 · 2 commenti · 2 assegnatari ·
I maintainer di solito rispondono entro 1 giorno
-
bug non-b4b science
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ESCOMP/CTSM#4119 · 4 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
b4b code health priority: low size: small
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
Issue simili
-
bug small tooling
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 6 giorni
-
bug needs-testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
void-linux/void-packages#63237 ·
I maintainer di solito rispondono entro 1 giorno
-
area/build-framework kind/new-feature
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
yugabyte/yugabyte-db#36023 ·
I maintainer di solito rispondono entro 1 giorno