opensearch-project/OpenSearch

[Gradle Check Retry] Publish/Record tests which pass after a retry to address flakiness

Open

#2.797 geöffnet am 6. Apr. 2022

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (1.505 Forks)batch import
Build Libraries & Interfacesenhancementgood first issuehacktoberfest

Repository-Metriken

Stars
 (8.123 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 5T 9h) (266 gemergte PRs in 30 T)

Beschreibung

Is your feature request related to a problem? Please describe.

Describe the solution you'd like

  • As a part of the solution, there should be a record of logs and/or a comment on the PR in case of test failures
  • The generated report has a log of the tests that fail even though the overall job succeeds
  • Record the frequent offenders to address and mitigate the underlying root cause for flakiness

Describe alternatives you've considered

  • Manually keeping track of failed tests from the gradle check bot reports

Additional context

  • N/A

Contributor Guide

Research-Richtung
Untersuchen Sie den Wiederholungsmechanismus aus PR #2638, verstehen Sie, wie Testfehler derzeit behandelt werden, und entwerfen Sie eine Methode, um flaky Tests, die nach Wiederholung bestehen, zu protokollieren und zu melden.
Tech Stack
java
Domain
backendtesting qa
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
GitJavaGradle
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40