Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Scorer-eval GUI drops the coverage fields the docs say to compare

Đang mở
  • Có gì không ổn?
#3,325 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
72/100
Loại issue
Tính năng
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python, react, typescript
Lĩnh vực
ai, backend, frontend

Hướng nghiên cứu

Start with scenario_progress_read_model.py around lines 600–612 and ObjectiveScorerDetails.tsx; then check the scorer-evaluation docs at doc/code/scoring/4_scorer_metrics.py to confirm how coverage is defined. Carry num_responses and num_input_responses through the read model and show coverage with accuracy in scorer details. Done when the GUI exposes coverage so users can distinguish abstention from a perfect score.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Scorer-eval GUI drops the coverage fields the docs say to compare

Summary

The scorer-evaluation docs (doc/code/scoring/4_scorer_metrics.py) correctly tell readers to compare num_responses against num_input_responses to see coverage, because responses with no verdict are excluded from accuracy. The exclusion itself is intended and test-pinned.

What breaks the guidance: the GUI backend read model (scenario_progress_read_model.py:600-612) drops both fields at the API boundary, and ObjectiveScorerDetails.tsx renders the masked accuracy with no way to surface a caveat.

Demonstration (real ObjectiveScorerEvaluator.evaluate_dataset_async, 10-item dataset): a scorer returning no verdict on the 3 hard items reports accuracy 1.0000 / F1 1.0000 at 7/10 coverage (identical to a perfect scorer) while an honest scorer attempting all 10 at 70% correct reports 0.7000. Abstention is strictly rewarded. The GUI cannot show why.

Suggested direction: carry num_responses / num_input_responses through the read model and render coverage alongside accuracy in the scorer-details view.

Ngôn ngữ chính
Python
Star
4.6k
Fork
962
Merge trung bình
2 ngày 13 giờ
Pull request đã merge (30 ngày)
417

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của microsoft/PyRIT

Tất cả issue của microsoft/PyRIT

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.