test(source-control): give the pull-request eval cases a gh fixture so ready runs reach the flip
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 25/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- Active
- Stack technique
- git, github, shell
- Domaine
- devtools, testing-qa
Piste de recherche
Start with plugins/source-control/evals/pull-request-ready-hands-pr-to-explain-change/scaffold.sh and the ready phase's gh pr view lookup (§2.5.1) in the pull-request skill. The mechanism is undecided: choose between a gh shim the scaffold puts on PATH (check the sandbox's PATH first) and a fixture convention in the /evals:plugin-eval case-authoring reference. Done when the ready cases reach gh pr ready in a kept-trace run.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Context
Found in review of #6987 (Codex finding on plugins/source-control/evals/pull-request-ready-hands-pr-to-explain-change/scaffold.sh).
Problem
The source-control plugin-eval cases for /source-control:pull-request (pull-request-ready-merges-base-never-rebases, pull-request-ready-hands-pr-to-explain-change, and likely the merge and dirty-worktree cases) scaffold only a local git repository: no remote, no pull request, and no gh fixture. The skill's ready phase first resolves the PR (gh pr view, §2.5.1) and stops when that fails, so a correct run never reaches the steps these cases grade (the base merge, gh pr ready, the explain-change hand-off). The graders can then pass only on a run that ignores a failed lookup.
No case in the repository stubs gh today, and a case cannot set PATH (env keys are limited to EVAL_*), so the fix needs a decided mechanism.
Suggested fix
Decide how a plugin-eval case presents a forge to the skill: a gh shim the scaffold installs where the run's PATH finds it (verify the sandbox's PATH first), or a documented fixture convention in /evals:plugin-eval's case-authoring reference. Then apply it to every pull-request case that calls gh, and confirm with a kept-trace run that the ready cases reach gh pr ready.
Related: #6107, #6987
- Langage dominant
- Shell
- Étoiles
- 22
- Forks
- 2
- Merge moyen
- 8 h 34 min
- PR mergées (30 j)
- 946
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de melodic-software/claude-code-plugins
-
needs-human needs-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
melodic-software/claude-code-plugins#7636 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
agent-ready needs-human
Difficulté 2/5 1-3 heures Accessibilité débutants 77/100
melodic-software/claude-code-plugins#7598 · 4 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
good first issue priority: low
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
melodic-software/claude-code-plugins#7530 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
needs-human priority: medium
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
melodic-software/claude-code-plugins#7455 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
priority: medium
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
melodic-software/claude-code-plugins#7351 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de melodic-software/claude-code-plugins
Issues similaires
-
agent/quality help wanted origin/quality quality stage/010-actionable testing
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
hivecommons/hotshot#227 ·
Les mainteneurs répondent en général sous 1 jour
-
Add PhotocraftOuverteenhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 67/100
Les mainteneurs répondent en général sous 1 jour
-
Missing icon: novelWriterOuverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 78/100
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
-
needs-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
gke-labs/kube-agents#3394 ·
Les mainteneurs répondent en général sous 1 jour