Effective coverage gate compares a floored percentage instead of the unrounded value
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 78/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- python
- Lĩnh vực
- testing-qa
Hướng nghiên cứu
Start with score_coverage/effective_coverage.py around the flooring logic and score_coverage/generate_coverage_html.py around the gate’s use of report.json. Reproduce the 99,999/100,000 case through the real generate_coverage_html CLI with and without the empty YAML, then add coverage for a threshold between the displayed and actual percentages. Done means both paths compare the unrounded value while displayed values remain floored.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Found while reviewing the architecture documentation. Verified against upstream HEAD d99515b87bbe1dde89984403e9c330d640fc5d33 using synthetic report archives and the real generate_coverage_html CLI (no gate/justification mocks).
The effective gate reads summary.effective_line_coverage_pct from report.json, but that field is already floored to two decimal places. This can reject coverage that meets the configured threshold and makes an empty justification YAML change the gate verdict.
Reproduction
Use a report zip whose LLVM HTML Totals row and LCOV both contain 99,999 covered lines out of 100,000. Set COVERAGE_THRESHOLD=99.995.
- Without YAML: raw 99.999%, exit 0.
- With a valid YAML containing
version: 1andjustifications: []: effective value stored as 99.99%, exit 1.
Both results were reproduced through the real CLI and effective coverage calculation with synthetic report inputs.
Expected
Both paths compare the unrounded percentage against the threshold. Display values may remain floored as required by the effective-report requirement. The gate should reconstruct its value from validated counts or receive a separate full-precision value.
This violates tool_req__coverage_gate_unrounded. Add coverage for a fractional threshold between the displayed and actual value, using an empty YAML to prove raw/effective parity.
Relevant code
- Ngôn ngữ chính
- Python
- Star
- 0
- Fork
- 3
- Merge trung bình
- 18 giờ 24 phút
- Pull request đã merge (30 ngày)
- 16
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của eclipse-score/coverage_tool
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
eclipse-score/coverage_tool#27 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
eclipse-score/coverage_tool#43 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
improve downstream testingĐang mởtesting
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 22/100
eclipse-score/coverage_tool#42 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
extend downstream test reposĐang mởtesting
Độ khó 3/5 Nửa ngày Mức phù hợp với người mới 20/100
eclipse-score/coverage_tool#41 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
testing
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
eclipse-score/coverage_tool#39 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của eclipse-score/coverage_tool
Issue tương tự
-
Deferred from #1869: Complete the companion pytest guardrail update noted in the PR description...Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 95/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Custom provider API keys collide on one host: env slot keyed on host:port only, not URL pathĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
NousResearch/hermes-agent#140958 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Bug triage/confirmed
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 85/100
agentscope-ai/agentscope#3355 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 95/100
ethereum/execution-specs#3859 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày