Setup test flakiness monitoring, reporting, and SOP

Aperta
#175 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
go

Direzione di ricerca

Inizia esaminando gli strumenti di go-libp2p, incluso ci-flakiness-badge, per determinare cosa può essere adottato per boxo. Definisci il workflow di reporting e la SOP per identificare i test più flaky, misurare le tendenze nel tempo e documentare come vengono gestiti i test flaky; nell’issue non vengono nominati file o test.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

kind/test topic/project-management

Done Criteria

We have data insights showing our top flaky tests, and we can quantify how this is trending with time.
We also have an SOP on how we handle flaky tests. This shouldn't be tribal knowledge or guess work.

Why Important

Flaky tests will doom this endeavor because it will either:

  1. Delay getting releases out, even when a small change was made in a tiny module OR
  2. Catch us in the tar pit of relying on human judgement of whether we can merge/release or not. We won't make this judgement correct all the time, and unnecessary bugs will slip out the door.

We want to be able to quickly spot flakiness so we know where to eradicate it.

Notes

go-libp2p has tooling (including a ci-flakiness-badge) that I think we can follow/adopt/use.

Lingua principale
Go
Stelle
326
Fork
165
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

  • Nessun Dockerfile né file Docker Compose
  • Ha un modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di ipfs/boxo

Tutte le issue di ipfs/boxo

Issue simili

Altre issue su Go

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.