test(source-control): calibrate the four llm graders in the source-control eval suite
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- markdown, shell
- Área
- testing-qa
Línea de trabajo
Read the /evals:plugin-eval skill and inspect the four grader files and their labeled samples under the source-control eval suite. First resolve dependency #6547, then use plugins/evals/skills/plugin-eval/scripts/calibrate-judge.py build and score across the suite. Record paid-run agreement for each grader; fix or remove any below the skill's stated bar and rerun.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Observed
The source-control eval suite has four type: llm graders, and none has a calibration result:
| case | grader | labeled samples |
|---|---|---|
| commit-never-stage-everything | wildcard-risk-named | none (no samples/ dir) |
| resolve-conflicts-bare-prompt-recovers-intent-from-history | up-intents-and-drops-named | yes |
| resolve-conflicts-rebase-composes-rename-and-new-option | up-nothing-invented | yes |
| resolve-conflicts-refuses-bulk-ours-and-abort | justified-per-file | yes |
An uncalibrated judge's verdicts carry unknown error, so eval deltas on these cases (#6939, #7070, #6941) rest partly on an unmeasured grader.
calibrate-judge.py build (plugins/evals/skills/plugin-eval/scripts/) is the calibration tool. At least justified-per-file's samples hold a markdown table rule (|---|), which hits #6547: build writes frontmatter the CLI refuses, so that grader cannot be calibrated until #6547 is fixed.
Fix wanted
- Add labeled pass/fail samples for
commit-never-stage-everything/graders/wildcard-risk-named.md(format: the other cases'samples/<grader>.json). - After #6547 lands, run
calibrate-judge buildthenscoreover the source-control suite (see /evals:plugin-eval) and record per-grader agreement. - Rewrite any grader whose agreement with its labels is poor, and re-run.
Acceptance: each of the four graders has a recorded calibration score from a paid run, and any grader below the bar the plugin-eval skill names is fixed or removed.
Depends on: #6547
- Lenguaje dominante
- Shell
- Estrellas
- 22
- Forks
- 2
- Merge medio
- 6 h 42 min
- PR fusionados (30 d)
- 902
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de melodic-software/claude-code-plugins
-
needs-triage priority: medium
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
melodic-software/claude-code-plugins#7288 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
knowledge: docpage-digest dual verification defines no verdict vocabulary or pass/fail thresholdAbiertoneeds-human needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
melodic-software/claude-code-plugins#7286 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
needs-triage priority: low
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
melodic-software/claude-code-plugins#7282 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
needs-triage priority: medium
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
melodic-software/claude-code-plugins#7273 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
needs-human needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 79/100
melodic-software/claude-code-plugins#7232 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de melodic-software/claude-code-plugins
Issues similares
-
Install software-properties-common before adding the Suricata PPAPosiblemente ocupada @himanishpuri la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Ergane-Foundation/vajra#55 · 2 comentarios ·
Los mantenedores suelen responder en 2 días
-
[cifuzz] "Minimizing crashes reduces fuzzing time" is logged for every batch run, even with minimize-crashes offPosiblemente ocupada @martinfrancois la tomó hoy. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
alunduil/alunduil-chezmoi#914 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
obra/superpowers#2505 ·
Los mantenedores suelen responder en 3 días
-
cao-evolution cao-evolution:compiler-security
Dificultad 1/5 Menos de una hora Aptitud para principiantes 86/100
githubnext/gh-aw-cao#17586 ·
Los mantenedores suelen responder en 1 día