BUG Scenario success rate counts ERROR attempts that were later retried or resumed
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 72/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- python
- Lĩnh vực
- data, testing-qa
Hướng nghiên cứu
Start with the existing Crescendo retry-and-resume test flow and trace how objective_achieved_rate and group_success_rate are calculated for console, JSON, and HTML reports. Compare that logic with the GUI's calculate_progress_counts handling of retries and error attempts. Done means recovered ERROR rows no longer lower the rates and the existing flow verifies 100% for the two successful objectives.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
When an attempt errors, an ERROR AttackResult is saved, and a retry or resume then adds a new row for the same objective. Keeping those ERROR rows as history is intentional, but objective_achieved_rate and group_success_rate divide by every row, so each recovered error still drags the rate down. Running the existing Crescendo retry-and-resume test flow and printing the rate:
rows: ['success', 'error', 'error', 'success'] unique objectives: 2 objective_achieved_rate: 50
Both objectives succeeded, so that should be 100. This number feeds the console, JSON and HTML reports. The GUI already gets it right (calculate_progress_counts explicitly avoids "inflating retries or error attempts"), so the GUI and CLI show different rates for the same run.
Suggested fix: skip ERROR attempts that were replaced by a later attempt of the same unit, using the same unit identity the GUI uses.
- Ngôn ngữ chính
- Python
- Star
- 4.5k
- Fork
- 896
- Merge trung bình
- 3 ngày 5 giờ
- Pull request đã merge (30 ngày)
- 200
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của microsoft/PyRIT
-
BUG HarmBench loader drops ContextString, so contextual behaviors are sent without their context Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
Tất cả issue của microsoft/PyRIT
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 75/100
-
hcocena Đang mởpolicies-accepted pre-review precheck-passed
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
Bioconductor/BiocContributions#214 · 5 bình luận ·
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
TencentCloud/Octop#1169 · 1 bình luận ·
-
[开源推荐] 在老板拷问你之前,先让 AI 灵魂拷问你 Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
521xueweihan/HelloGitHub#3778 ·
-
The version checker's trailing attribute region has no control for a less-than inside a quoted value Đang mởarea: dashboard area: tests bug perceived difficulty: 2 python
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Nitjsefnie-Harness-Commons/daedalus#1105 · 1 bình luận ·