Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

Add a flaky-test playbook

Ouverte
  • Quelque chose ne va pas ?
#24 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
3/5
Temps estimé
1-2 jours
Accessibilité débutants
67/100
Type d'issue
Documentation
Clarté
Plutôt claire
Activité
Active
Stack technique
playwright, typescript
Domaine
documentation, testing-qa

Piste de recherche

Start by reading the existing Bug fix and Trace forensics playbooks in go-mode, the playbook index, and the project's README and go-help entries. Check current Playwright documentation for rerun and quarantine command syntax, then follow the authoring-a-skill validation and build steps. Done means the new playbook includes the four evidence-based buckets, rerun guidance, retry ban, quarantine rule, and all required index and README entries.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

ready-for-agent

Parent

#15

What to build

An agent facing a flaky test follows a fixed procedure instead of raising retries or skipping the test. It reruns the test ten times with the project's Playwright test runner and reads the failure count:

  • 0 of 10 means the test fails only in CI.
  • 1 to 3 means a real flake.
  • 4 or more means the test is broken.

Before it changes code, it puts the flake in one of four buckets, with evidence from the trace: a timing race, leaked state, an ambiguous locator, or a config or auth mismatch. It never raises retries to make a flake pass. To quarantine a test, it marks the test as an expected failure with a linked issue, so the run fails once the test starts passing again and someone removes the quarantine.

Acceptance criteria

  • The flaky-test playbook exists in go-mode, beside Bug fix and Trace forensics in the playbook index, with one routing line.
  • The playbook covers the rerun count, the four buckets, the ban on raising retries, and the quarantine rule.
  • The rerun and quarantine commands match current Playwright docs.
  • The playbook has a go-help row and a README line.
  • The playbook passes the authoring-a-skill validation and the build.
Langage dominant
TypeScript
Étoiles
0
Forks
0
Merge moyen
3 h 33 min
PR mergées (30 j)
13

Préparer son environnement

Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de gregogun/gstack

Toutes les issues de gregogun/gstack

Issues similaires

Plus d'issues TypeScript

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.