Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

BUG: attacks record FAILURE when the objective scorer returns no score

Đang mở
  • Có gì không ổn?
#3,112 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
45/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
ai

Hướng nghiên cứu

Start with _determine_attack_outcome in prompt_sending.py, then check the matching logic in multi_prompt_sending.py, red_teaming.py around line 411, and chunked_request.py, where a missing score maps to FAILURE. Crescendo and TAP already raise in this case, so read them for the expected handling. Done means that when a scorer is configured, a response exists, and the score is None, the outcome is UNDETERMINED with the message 'Objective scorer returned no score', with tests covering the modality-mismatch case. The maintainer filed this to settle the outcome semantics first, so confirm the approach in the thread before changing code.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

When the objective scorer returns no score, several attacks record FAILURE, which reads as "measured and defended". AttackOutcome.UNDETERMINED exists for exactly this case.

  • prompt_sending.py _determine_attack_outcome: if response: return FAILURE
  • multi_prompt_sending.py: same
  • red_teaming.py:411: ... if context.last_score else AttackOutcome.FAILURE
  • chunked_request.py: "No score returned from scorer" maps to FAILURE

This happens e.g. when a text-only scorer gets an image response. Crescendo and TAP raise in the same situation instead, so the attacks don't agree either.

PromptSendingAttack:      outcome=FAILURE score=None reason='Failed to achieve objective after 1 attempts'
MultiPromptSendingAttack: outcome=FAILURE score=None reason='Failed to achieve objective'

It understates ASR for modality-mismatched runs, since unscored rows count as defended. Proposal: when a scorer is configured, a response exists and the score is None, return UNDETERMINED with "Objective scorer returned no score". Filing first since it changes reported outcomes.

Ngôn ngữ chính
Python
Star
4.6k
Fork
944
Merge trung bình
3 ngày 1 giờ
Pull request đã merge (30 ngày)
278

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của microsoft/PyRIT

Tất cả issue của microsoft/PyRIT

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.