Fundamental issue: test environment reproducibility
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- docker
- Lĩnh vực
- infrastructure, testing-qa
Hướng nghiên cứu
Bắt đầu bằng việc xem xét các đầu vào của môi trường kiểm thử được mô tả ở đây: snapshot rootfs, snapshot image Docker của compiler, thời gian lưu giữ và các kiểm thử tải các thành phần bên ngoài. Sử dụng PR 2695 làm ví dụ cụ thể và kiểm tra cách các tham số kiểm thử nền tảng được ghi lại. Hoàn thành nghĩa là xác định các khoảng trống về khả năng tái lập và định nghĩa các cải tiến để có thể tái tạo cả lỗi lẫn lần chạy thành công từ các đầu vào được version hóa.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
To reproduce test failure reliably we need to know:
1)rootfs snapshot, usually updated weekly
2)compiler docker image snapshot - usually updated weekly and depends if there is upstream updates
3)other components usually added to rootfs, so they are consistent with rootfs version
Knowing all this parameters and storing images enough time will allow to reproduce test failure/pass in reasonable timeframe (how long they are stored on storage)
But, many tests fetch components from external sources, and many of them wont be consistent with rootfs provided by KernelCI, which means we might face reproducibility issue.
We need to research this topic, review tests and improve test reproducibility where it is required.
Example: https://github.com/kernelci/kernelci-core/pull/2695
We fetch platform test parameters, and we might not know what was version when it fails.
- Ngôn ngữ chính
- Python
- Star
- 14
- Fork
- 32
- Merge trung bình
- 10 giờ 18 phút
- Pull request đã merge (30 ngày)
- 5
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của kernelci/kernelci-project
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 20/100
kernelci/kernelci-project#585 ·
-
question sysadmin
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
kernelci/kernelci-project#580 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
kernelci/kernelci-project#579 ·
-
Make sure kunit tests working properly, especially cryptoCó thể làm lại được @nuclearcat đã nhận 177 ngày trước và không có pull request nào đang mở. Đang mở
kernelci/kernelci-project#568 · 1 người được giao ·
-
Proposal for weekly conference calls (and probably others)Có thể làm lại được @nuclearcat đã nhận 261 ngày trước và không có pull request nào đang mở. Đang mở
kernelci/kernelci-project#562 · 10 bình luận · 1 người được giao ·
Tất cả issue của kernelci/kernelci-project
Issue tương tự
-
[Bug]: LangGraph Store sync put bypasses namespace validationCó thể đã có người làm @ktz03 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
volcengine/OpenViking#6050 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug]: Streamed /v1/chat/completions sends unredacted agent error text (keys) in the final chunkCó thể đã có người làm @rodricksz4h5 đã nhận hôm nay. Đang mởarea/streaming comp/gateway P2 type/security
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
NousResearch/hermes-agent#138245 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[oblt-aw][autodoc] Update user onboarding guide for mandatory trigger CODEOWNERS stepCó thể đã có người làm @github-actions đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
Maintainer thường phản hồi trong vòng 1 ngày
-
correction metadata
Độ khó 2/5 Dưới một giờ Mức phù hợp với người mới 68/100
acl-org/acl-anthology#10378 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
cloudtrail_multi_region_enabled_logging_management_events fails when the advanced event selector has a custom nameCó thể đã có người làm @12YYCCYY16 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
prowler-cloud/prowler#13033 ·
Maintainer thường phản hồi trong vòng 1 ngày