Marking known/expected test failures and add extra information
维护者通常 1 天内回复
@helen-fornazier 已经在做这个了。
开始于 2024年11月27日。
评估
这个 Issue 还没有评估数据。
描述
Hello,
I'd like to discuss potential strategies for marking specific test failures as known or expected. This arises from some dmesg test failures observed on grunt and zork Chromebooks, where the emerg test case is failing due to No irq handler for vector errors being reported in the logs (as expected) - see e.g.: https://lava.collabora.dev/scheduler/job/13063812#results_468058486. This issue is known and harmless on these boards. I'm wondering if it would make sense to have a way to encode this information so that users can easily know about it and act accordingly (e.g. focus on other types of errors or filter out specific test failures if needed).
In the specific case of the dmesg test mentioned, I don't see a sane way to report the exact error log lines from the LAVA test case itself. So I guess this may require users to manually tag failures or provide additional information after they are reported.
I suspect there could be other instances where tests could benefit from manually added debug information (e.g. flakey tests); this issue is to discuss whether any actions should be taken to address these scenarios and explore potential solutions.
cc: @nuclearcat
- 主要语言
- Python
- 星标
- 120
- 派生
- 108
- 平均合并
- 1 天 12 小时
- 30 天内合并 PR
- 21
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
kernelci/kernelci-core 的其他 Issue
-
good first issue
难度 2/5 1-3 小时 新手友好度 72/100
kernelci/kernelci-core#2591 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 25/100
kernelci/kernelci-core#3234 ·
维护者通常 1 天内回复
-
Make Kubernetes job network readiness checks bounded and deployment-independent可能重新可做 @Aniket1260 于 38 天前认领，目前没有进行中的 PR。 未关闭good first issue techdebt
难度 5/5 一周以上 新手友好度 35/100
kernelci/kernelci-core#3197 · 3 条评论 ·
维护者通常 1 天内回复
-
chromeos techdebt
难度 5/5 一周以上 新手友好度 35/100
kernelci/kernelci-core#3196 ·
维护者通常 1 天内回复
-
kubernetes runners missing logs and test naming wrong可能重新可做 @nuclearcat 于 70 天前认领，目前没有进行中的 PR。 未关闭
kernelci/kernelci-core#3170 · 2 条评论 · 1 个 reaction · 已指派 1 人 ·
维护者通常 1 天内回复
查看 kernelci/kernelci-core 的全部 Issue
相似的 Issue
-
documentation
难度 1/5 1 小时以内 新手友好度 65/100
ansys/pydpf-core#3547 ·
维护者通常 1 天内回复
-
core
难度 2/5 1-3 小时 新手友好度 70/100
vectorize-io/hindsight#5457 ·
维护者通常 1 天内回复
-
[Bug]: LangChain drops OpenAI Responses text blocks from session recording可能已有人在做 @ktz03 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 72/100
volcengine/OpenViking#5806 ·
维护者通常 1 天内回复
-
HTML: <template> content is extracted as document text可能已有人在做 @ryanmeowy 今天认领。 未关闭bug html
难度 1/5 1 小时以内 新手友好度 82/100
docling-project/docling#4714 · 2 条评论 ·
维护者通常 1 天内回复
-
APIv2 event data accepts a non-string reply and a NaN upper_bound可能已有人在做 @awss1i 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 72/100
freedomofpress/securedrop#7946 · 1 条评论 ·
维护者通常 2 天内回复