tweag/asterius

Implement `ghc-testsuite` report diff script and run on CI

Ouverte

#285 ouverte le 15 sept. 2019

Voir sur GitHubGuide contributeur
 (0 commentaire) (0 réaction) (0 personne assignée)Haskell (56 forks)batch import
P2good first issuetype: feature request

Métriques du dépôt

Stars
 (1 949 étoiles)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Currently, to spot regressions in one of the ghc-testsuite jobs, we need to manually download the CSV reports from CircleCI and perform diffing based on some ad hoc script, and since it's not mechanized we don't perform this for every PR, increasing the chance of regression. We should implement:

  • Script to diff two CSV reports, locating the fixes & regressions, taking into account the possibility of ghc-testsuite tests may get added or deleted
  • Script to query CircleCI artifacts and download available reports from parent commits
  • Run the scripts on CI. We should probably fail the job if there's regression, provided that we got rid of non-determinism (like in #284) in test runs

Guide contributeur

Direction de recherche
Examinez la configuration actuelle de CircleCI et la génération de rapports CSV, puis écrivez un script pour différencier les rapports et ajoutez un job CI pour l'exécuter automatiquement.
Stack technique
haskell
Domaine
testingci cd
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Git
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60