Marking known/expected test failures and add extra information
Los mantenedores suelen responder en 1 día
@helen-fornazier ya está trabajando en esto.
Desde el 27/11/2024.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Hello,
I'd like to discuss potential strategies for marking specific test failures as known or expected. This arises from some dmesg test failures observed on grunt and zork Chromebooks, where the emerg test case is failing due to No irq handler for vector errors being reported in the logs (as expected) - see e.g.: https://lava.collabora.dev/scheduler/job/13063812#results_468058486. This issue is known and harmless on these boards. I'm wondering if it would make sense to have a way to encode this information so that users can easily know about it and act accordingly (e.g. focus on other types of errors or filter out specific test failures if needed).
In the specific case of the dmesg test mentioned, I don't see a sane way to report the exact error log lines from the LAVA test case itself. So I guess this may require users to manually tag failures or provide additional information after they are reported.
I suspect there could be other instances where tests could benefit from manually added debug information (e.g. flakey tests); this issue is to discuss whether any actions should be taken to address these scenarios and explore potential solutions.
cc: @nuclearcat
- Lenguaje dominante
- Python
- Estrellas
- 120
- Forks
- 108
- Merge medio
- 1 d 12 h
- PR fusionados (30 d)
- 21
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de kernelci/kernelci-core
-
good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
kernelci/kernelci-core#2591 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 25/100
kernelci/kernelci-core#3234 ·
Los mantenedores suelen responder en 1 día
-
Make Kubernetes job network readiness checks bounded and deployment-independentQuizá libre de nuevo @Aniket1260 la tomó hace 38 días y no hay ningún pull request abierto. Abiertogood first issue techdebt
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
kernelci/kernelci-core#3197 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
chromeos techdebt
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
kernelci/kernelci-core#3196 ·
Los mantenedores suelen responder en 1 día
-
kubernetes runners missing logs and test naming wrongQuizá libre de nuevo @nuclearcat la tomó hace 70 días y no hay ningún pull request abierto. Abierto
kernelci/kernelci-core#3170 · 2 comentarios · 1 reacción · 1 asignado ·
Los mantenedores suelen responder en 1 día
Todos los issues de kernelci/kernelci-core
Issues similares
-
docs(types): update the collection binding note now that typed collections shipped in pycubrid 1.9.0Abiertodocumentation priority: low size: S
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
cubrid-lab/sqlalchemy-cubrid#768 ·
Los mantenedores suelen responder en 1 día
-
--csv-bom was never wired up: PR #850 added an unused helper parameter, so #846 is not fixedAbiertobug help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Los mantenedores suelen responder en 1 día
-
Broken link in index.rstAbiertodocumentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 65/100
ansys/pydpf-core#3547 ·
Los mantenedores suelen responder en 1 día
-
core
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
vectorize-io/hindsight#5457 ·
Los mantenedores suelen responder en 1 día
-
[Bug]: LangChain drops OpenAI Responses text blocks from session recordingPosiblemente ocupada @ktz03 la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
volcengine/OpenViking#5806 ·
Los mantenedores suelen responder en 1 día