Fundamental issue: test environment reproducibility
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- docker
- Ambito
- infrastructure, testing-qa
Direzione di ricerca
Inizia esaminando gli input dell’ambiente di test descritti qui: lo snapshot di rootfs, lo snapshot dell’immagine Docker del compilatore, il periodo di conservazione e i test che recuperano componenti esterni. Usa PR 2695 come esempio concreto e verifica come vengono registrati i parametri dei test della piattaforma. Il lavoro è completato quando vengono identificate le lacune di riproducibilità e definite le migliorie necessarie per poter ricreare i fallimenti e i passaggi riusciti a partire da input versionati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
To reproduce test failure reliably we need to know:
1)rootfs snapshot, usually updated weekly
2)compiler docker image snapshot - usually updated weekly and depends if there is upstream updates
3)other components usually added to rootfs, so they are consistent with rootfs version
Knowing all this parameters and storing images enough time will allow to reproduce test failure/pass in reasonable timeframe (how long they are stored on storage)
But, many tests fetch components from external sources, and many of them wont be consistent with rootfs provided by KernelCI, which means we might face reproducibility issue.
We need to research this topic, review tests and improve test reproducibility where it is required.
Example: https://github.com/kernelci/kernelci-core/pull/2695
We fetch platform test parameters, and we might not know what was version when it fails.
- Lingua principale
- Python
- Stelle
- 14
- Fork
- 32
- Merge medio
- 10h 18m
- PR unite (30g)
- 5
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di kernelci/kernelci-project
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100
kernelci/kernelci-project#585 ·
-
question sysadmin
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
kernelci/kernelci-project#580 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100
kernelci/kernelci-project#579 ·
-
Make sure kunit tests working properly, especially cryptoForse di nuovo libera @nuclearcat l’ha presa 174 giorni fa e non c’è nessuna pull request aperta. Aperta
kernelci/kernelci-project#568 · 1 assegnatario ·
-
Proposal for weekly conference calls (and probably others)Forse di nuovo libera @nuclearcat l’ha presa 257 giorni fa e non c’è nessuna pull request aperta. Aperta
kernelci/kernelci-project#562 · 10 commenti · 1 assegnatario ·
Tutte le issue di kernelci/kernelci-project
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
awslabs/visual-asset-management-system#414 ·
I maintainer di solito rispondono entro 1 giorno
-
bug v1 v2
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
modelcontextprotocol/python-sdk#3670 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
aicell-lab/bioengine#232 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
modelscope/evalscope#1836 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100