Marking known/expected test failures and add extra information
Maintainer thường phản hồi trong vòng 1 ngày
@helen-fornazier đang làm issue này rồi.
Từ ngày 27/11/2024.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Hello,
I'd like to discuss potential strategies for marking specific test failures as known or expected. This arises from some dmesg test failures observed on grunt and zork Chromebooks, where the emerg test case is failing due to No irq handler for vector errors being reported in the logs (as expected) - see e.g.: https://lava.collabora.dev/scheduler/job/13063812#results_468058486. This issue is known and harmless on these boards. I'm wondering if it would make sense to have a way to encode this information so that users can easily know about it and act accordingly (e.g. focus on other types of errors or filter out specific test failures if needed).
In the specific case of the dmesg test mentioned, I don't see a sane way to report the exact error log lines from the LAVA test case itself. So I guess this may require users to manually tag failures or provide additional information after they are reported.
I suspect there could be other instances where tests could benefit from manually added debug information (e.g. flakey tests); this issue is to discuss whether any actions should be taken to address these scenarios and explore potential solutions.
cc: @nuclearcat
- Ngôn ngữ chính
- Python
- Star
- 120
- Fork
- 108
- Merge trung bình
- 1 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 21
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của kernelci/kernelci-core
-
good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
kernelci/kernelci-core#2591 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 25/100
kernelci/kernelci-core#3234 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
good first issue techdebt
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
kernelci/kernelci-core#3197 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
chromeos techdebt
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
kernelci/kernelci-core#3196 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
kubernetes runners missing logs and test naming wrongCó thể làm lại được @nuclearcat đã nhận 68 ngày trước và không có pull request nào đang mở. Đang mở
kernelci/kernelci-core#3170 · 2 bình luận · 1 reaction · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của kernelci/kernelci-core
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
-
Harmony OPeNDAP SubSetter (HOSS) Geographic LARC_CLOUD PREFIRE_SAT2_AUX-SAT R01 production
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
nasa/harmony-autotester#245 ·
-
[FEATURE] - Add UTVD supportĐang mởenhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Deltares/imod-python#1928 ·
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
feature
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100