tweag/asterius

Implement `ghc-testsuite` report diff script and run on CI

Open

#285 aperta il 15 set 2019

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Haskell (56 fork)batch import
P2good first issuetype: feature request

Metriche repository

Star
 (1949 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Currently, to spot regressions in one of the ghc-testsuite jobs, we need to manually download the CSV reports from CircleCI and perform diffing based on some ad hoc script, and since it's not mechanized we don't perform this for every PR, increasing the chance of regression. We should implement:

  • Script to diff two CSV reports, locating the fixes & regressions, taking into account the possibility of ghc-testsuite tests may get added or deleted
  • Script to query CircleCI artifacts and download available reports from parent commits
  • Run the scripts on CI. We should probably fail the job if there's regression, provided that we got rid of non-determinism (like in #284) in test runs

Guida contributor

Direzione di ricerca
Rivedi la configurazione CI esistente di ghc testsuite in .circleci/config.yml e qualsiasi script esistente. Comprendi il formato del report CSV generato dalle esecuzioni della test suite. L'issue fa riferimento a #284 per la non determinazione; controlla quell'issue per il contesto. Implementa uno script diff per confrontare due report CSV, gestendo test aggiunti/eliminati. Implementa uno script per scaricare gli artefatti di CircleCI dai commit genitori. Infine, integra entrambi gli script nel CI, facendo fallire il job in caso di regressioni.
Tech stack
shellpython
Dominio
ci cdtooling
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Shell scriptingCSV parsingCircleCI basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40