opensearch-project/OpenSearch

[Gradle Check Retry] Publish/Record tests which pass after a retry to address flakiness

Open

#2.797 aberto em 6 de abr. de 2022

Ver no GitHub
 (2 comments) (0 reactions) (0 assignees)Java (1.505 forks)batch import
Build Libraries & Interfacesenhancementgood first issuehacktoberfest

Métricas do repositório

Stars
 (8.123 stars)
Métricas de merge de PR
 (Mesclagem média 5d 9h) (266 fundiu PRs em 30d)

Description

Is your feature request related to a problem? Please describe.

Describe the solution you'd like

  • As a part of the solution, there should be a record of logs and/or a comment on the PR in case of test failures
  • The generated report has a log of the tests that fail even though the overall job succeeds
  • Record the frequent offenders to address and mitigate the underlying root cause for flakiness

Describe alternatives you've considered

  • Manually keeping track of failed tests from the gradle check bot reports

Additional context

  • N/A

Guia do colaborador

Direção de pesquisa
Investigue o mecanismo de repetição do PR #2638, entenda como as falhas de teste são atualmente tratadas e projete um método para registrar e relatar testes instáveis que passam após a repetição.
Pilha de tecnologia
java
Domain
backendtesting qa
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
GitJavaGradle
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40