Add a flaky-test playbook

Geschlossen
  • Stimmt etwas nicht?
#24 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Ein zugehöriger Pull Request wurde bereits gemerged.

  • #37 von @gregogun — gemerged

Bewertung

Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Anfängerfreundlichkeit
67/100
Issue-Typ
Dokumentation
Klarheit
Größtenteils klar
Aktivitätsstatus
Aktiv
Tech-Stack
playwright, typescript
Bereich
documentation, testing-qa

Rechercherichtung

Start by reading the existing Bug fix and Trace forensics playbooks in go-mode, the playbook index, and the project's README and go-help entries. Check current Playwright documentation for rerun and quarantine command syntax, then follow the authoring-a-skill validation and build steps. Done means the new playbook includes the four evidence-based buckets, rerun guidance, retry ban, quarantine rule, and all required index and README entries.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

ready-for-agent

Parent

#15

What to build

An agent facing a flaky test follows a fixed procedure instead of raising retries or skipping the test. It reruns the test ten times with the project's Playwright test runner and reads the failure count:

  • 0 of 10 means the test fails only in CI.
  • 1 to 3 means a real flake.
  • 4 or more means the test is broken.

Before it changes code, it puts the flake in one of four buckets, with evidence from the trace: a timing race, leaked state, an ambiguous locator, or a config or auth mismatch. It never raises retries to make a flake pass. To quarantine a test, it marks the test as an expected failure with a linked issue, so the run fails once the test starts passing again and someone removes the quarantine.

Acceptance criteria

  • The flaky-test playbook exists in go-mode, beside Bug fix and Trace forensics in the playbook index, with one routing line.
  • The playbook covers the rerun count, the four buckets, the ban on raising retries, and the quarantine rule.
  • The rerun and quarantine commands match current Playwright docs.
  • The playbook has a go-help row and a README line.
  • The playbook passes the authoring-a-skill validation and the build.
Vorherrschende Sprache
JavaScript
Sterne
0
Forks
0
Ø Merge
1 T. 3 Std.
Gemergte PRs (30 T.)
37

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus gregogun/gstack

Alle Issues in gregogun/gstack

Ähnliche Issues

Weitere Issues zu JavaScript

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.