Setup test flakiness monitoring, reporting, and SOP
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- go
- Área
- observability, testing-qa
Línea de trabajo
Comienza revisando las herramientas de go-libp2p, incluido ci-flakiness-badge, para determinar qué se puede adoptar para boxo. Define el flujo de trabajo de reporting y la SOP para identificar las pruebas más flaky, medir las tendencias a lo largo del tiempo y documentar cómo se gestionan las pruebas flaky; en el issue no se nombran archivos ni pruebas.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Done Criteria
We have data insights showing our top flaky tests, and we can quantify how this is trending with time.
We also have an SOP on how we handle flaky tests. This shouldn't be tribal knowledge or guess work.
Why Important
Flaky tests will doom this endeavor because it will either:
- Delay getting releases out, even when a small change was made in a tiny module OR
- Catch us in the tar pit of relying on human judgement of whether we can merge/release or not. We won't make this judgement correct all the time, and unnecessary bugs will slip out the door.
We want to be able to quickly spot flakiness so we know where to eradicate it.
Notes
go-libp2p has tooling (including a ci-flakiness-badge) that I think we can follow/adopt/use.
- Lenguaje dominante
- Go
- Estrellas
- 326
- Forks
- 165
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ipfs/boxo
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 46/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
-
need/triage
Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100
-
dif/medium effort/hours kind/enhancement P3 topic/devexp
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
Issues similares
-
affects-8.5 component/session severity/moderate sig/transaction type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
enhancement good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
harvester/harvester#12311 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
verifyrun --bracket-digest --credit: relative --witness is could-not-check, absolute path creditsAbiertobug effort:s impact:low raised-by:desk risk:low
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
medici-finance/assay#6580 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 80/100
blinklabs-io/gouroboros#3026 ·
Los mantenedores suelen responder en 1 día