juliet_vulnerability_analyzer: the word "infer" in a comment scores 0

Đang mở
  • Có gì không ổn?
#39 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
35/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python, shell
Lĩnh vực
testing, tooling

Hướng nghiên cứu

The banned-word check lives in scoring/score.py, where any submitted .py or .sh file containing infer subtracts 100 points. Reproduce by adding # Infer external inputs from call facts. to an analyzer and running tools/judge_local.py on edgebench/tasks/juliet_vulnerability_analyzer, with and without the line. Proposed fix #35 narrows matching to command-like text; done means a comment mentioning infer no longer zeroes the score, and real Infer calls are still caught.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Task

juliet_vulnerability_analyzer

Claim

scoring/score.py subtracts 100 points if any submitted .py or .sh file contains the word infer, in any case, even in a comment. The ban targets the Infer tool, but the README itself says "Infer external inputs". This is part of Known issue 3.

Impact

Measured, six grades per judge per row, no spread:

Submission Current judge With #35 merged
Opus 5.5 analyzer whose docstring has 2. Infer the "bad" (attacker reachable) region of the program from the 0 79.59
Another analyzer, no such word 90.70 90.70
The same analyzer plus # Infer external inputs from call facts. 0 90.70
Evidence and how to reproduce

Add that comment line to any submission's analyzer.py, then grade with and without it:

python3 tools/judge_local.py --task-dir edgebench/tasks/juliet_vulnerability_analyzer --image <judge tag> --archive <submission.tar.gz> --out result.json
Fix

#35, merged, drops infer from the banned words. Scores can only rise, and only for submissions containing the word.

Limits

Other banned words in comments still zero a submission. The README's rule against calling Infer stays without a text check; Infer is not in the image and grading is offline.

Found during EdgeBench Verified, our audit of EdgeBench's tasks. Its page for this task covers a different finding.

Ngôn ngữ chính
Python
Star
474
Fork
20
Merge trung bình
3 ngày 6 giờ
Pull request đã merge (30 ngày)
3

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ByteDance-Seed/EdgeBench

Tất cả issue của ByteDance-Seed/EdgeBench

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.