Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

test(source-control): calibrate the four llm graders in the source-control eval suite

Đang mở
  • Có gì không ổn?
#7,147 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
markdown, shell
Lĩnh vực
testing-qa

Hướng nghiên cứu

Read the /evals:plugin-eval skill and inspect the four grader files and their labeled samples under the source-control eval suite. First resolve dependency #6547, then use plugins/evals/skills/plugin-eval/scripts/calibrate-judge.py build and score across the suite. Record paid-run agreement for each grader; fix or remove any below the skill's stated bar and rerun.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

needs-triage priority: medium

Observed

The source-control eval suite has four type: llm graders, and none has a calibration result:

case grader labeled samples
commit-never-stage-everything wildcard-risk-named none (no samples/ dir)
resolve-conflicts-bare-prompt-recovers-intent-from-history up-intents-and-drops-named yes
resolve-conflicts-rebase-composes-rename-and-new-option up-nothing-invented yes
resolve-conflicts-refuses-bulk-ours-and-abort justified-per-file yes

An uncalibrated judge's verdicts carry unknown error, so eval deltas on these cases (#6939, #7070, #6941) rest partly on an unmeasured grader.

calibrate-judge.py build (plugins/evals/skills/plugin-eval/scripts/) is the calibration tool. At least justified-per-file's samples hold a markdown table rule (|---|), which hits #6547: build writes frontmatter the CLI refuses, so that grader cannot be calibrated until #6547 is fixed.

Fix wanted

  1. Add labeled pass/fail samples for commit-never-stage-everything/graders/wildcard-risk-named.md (format: the other cases' samples/<grader>.json).
  2. After #6547 lands, run calibrate-judge build then score over the source-control suite (see /evals:plugin-eval) and record per-grader agreement.
  3. Rewrite any grader whose agreement with its labels is poor, and re-run.

Acceptance: each of the four graders has a recorded calibration score from a paid run, and any grader below the bar the plugin-eval skill names is fixed or removed.

Depends on: #6547

Ngôn ngữ chính
Shell
Star
22
Fork
2
Merge trung bình
8 giờ 27 phút
Pull request đã merge (30 ngày)
957

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của melodic-software/claude-code-plugins

Tất cả issue của melodic-software/claude-code-plugins

Issue tương tự

Thêm issue về Shell/Bash

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.