opensearch-project/OpenSearch

[Gradle Check Retry] Publish/Record tests which pass after a retry to address flakiness

Open

#2 797 ouverte le 6 avr. 2022

Voir sur GitHub
 (2 commentaires) (0 réactions) (0 assignés)Java (1 505 forks)batch import
Build Libraries & Interfacesenhancementgood first issuehacktoberfest

Métriques du dépôt

Stars
 (8 123 stars)
Métriques de merge PR
 (Merge moyen 5j 9h) (266 PRs mergées en 30 j)

Description

Is your feature request related to a problem? Please describe.

Describe the solution you'd like

  • As a part of the solution, there should be a record of logs and/or a comment on the PR in case of test failures
  • The generated report has a log of the tests that fail even though the overall job succeeds
  • Record the frequent offenders to address and mitigate the underlying root cause for flakiness

Describe alternatives you've considered

  • Manually keeping track of failed tests from the gradle check bot reports

Additional context

  • N/A

Guide contributeur

Direction de recherche
Examinez le mécanisme de réessai de la PR #2638, comprenez comment les échecs de tests sont actuellement gérés et concevez une méthode pour enregistrer et signaler les tests instables qui réussissent après une nouvelle tentative.
Stack technique
java
Domaine
backendtesting qa
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
GitJavaGradle
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40