tweag/asterius

Implement `ghc-testsuite` report diff script and run on CI

Aberta

#285 aberto em 15 de set. de 2019

Ver no GitHubGuia do colaborador
 (0 comentário) (0 reação) (0 responsável)Haskell (56 forks)batch import
P2good first issuetype: feature request

Métricas do repositório

Stars
 (1.949 estrelas)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Currently, to spot regressions in one of the ghc-testsuite jobs, we need to manually download the CSV reports from CircleCI and perform diffing based on some ad hoc script, and since it's not mechanized we don't perform this for every PR, increasing the chance of regression. We should implement:

  • Script to diff two CSV reports, locating the fixes & regressions, taking into account the possibility of ghc-testsuite tests may get added or deleted
  • Script to query CircleCI artifacts and download available reports from parent commits
  • Run the scripts on CI. We should probably fail the job if there's regression, provided that we got rid of non-determinism (like in #284) in test runs

Guia do colaborador

Direção de pesquisa
Examine a configuração atual do CircleCI e a geração de relatórios CSV, depois escreva um script para comparar relatórios e adicione um job de CI para executá lo automaticamente.
Pilha de tecnologia
haskell
Domain
testingci cd
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Antigo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Git
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60