Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

test(source-control): calibrate the four llm graders in the source-control eval suite

Aperta
  • Qualcosa non va?
#7,147 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
markdown, shell
Ambito
testing-qa

Direzione di ricerca

Read the /evals:plugin-eval skill and inspect the four grader files and their labeled samples under the source-control eval suite. First resolve dependency #6547, then use plugins/evals/skills/plugin-eval/scripts/calibrate-judge.py build and score across the suite. Record paid-run agreement for each grader; fix or remove any below the skill's stated bar and rerun.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

needs-triage priority: medium

Observed

The source-control eval suite has four type: llm graders, and none has a calibration result:

case grader labeled samples
commit-never-stage-everything wildcard-risk-named none (no samples/ dir)
resolve-conflicts-bare-prompt-recovers-intent-from-history up-intents-and-drops-named yes
resolve-conflicts-rebase-composes-rename-and-new-option up-nothing-invented yes
resolve-conflicts-refuses-bulk-ours-and-abort justified-per-file yes

An uncalibrated judge's verdicts carry unknown error, so eval deltas on these cases (#6939, #7070, #6941) rest partly on an unmeasured grader.

calibrate-judge.py build (plugins/evals/skills/plugin-eval/scripts/) is the calibration tool. At least justified-per-file's samples hold a markdown table rule (|---|), which hits #6547: build writes frontmatter the CLI refuses, so that grader cannot be calibrated until #6547 is fixed.

Fix wanted

  1. Add labeled pass/fail samples for commit-never-stage-everything/graders/wildcard-risk-named.md (format: the other cases' samples/<grader>.json).
  2. After #6547 lands, run calibrate-judge build then score over the source-control suite (see /evals:plugin-eval) and record per-grader agreement.
  3. Rewrite any grader whose agreement with its labels is poor, and re-run.

Acceptance: each of the four graders has a recorded calibration score from a paid run, and any grader below the bar the plugin-eval skill names is fixed or removed.

Depends on: #6547

Lingua principale
Shell
Stelle
22
Fork
2
Merge medio
6h 42m
PR unite (30g)
902

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di melodic-software/claude-code-plugins

Tutte le issue di melodic-software/claude-code-plugins

Issue simili

Altre issue su Shell/Bash

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.