feat(evals): report leftover eval sandboxes and temp free space in plugin-eval preflight

Fermée Adaptée aux débutants
  • Quelque chose ne va pas ?
#8,018 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Une pull request liée a déjà été fusionnée.

  • #8171 par @melodic-automation-lanes — fusionnée

Évaluation

Difficulté
2/5
Temps estimé
1-3 heures
Accessibilité débutants
84/100
Type d'issue
Fonctionnalité
Clarté
Clairement spécifiée
Activité
Active
Stack technique
shell
Domaine
developer-experience, testing-qa, tooling

Piste de recherche

Commence dans le bloc de pré-vérification de la compétence plugin-eval et identifie l'endroit où ses champs de rapport et ses instructions de nettoyage sont définis. Implémente le rapport pour leftover_sandboxes et tmp_free, y compris unknown en cas d’échec de la sonde, sans rien supprimer. Exécute skill-quality check-skill.sh pour plugin-eval et scripts/check-changelog-fragments.sh pour vérifier la modification.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

agent-ready work-class: scoped

Refs: #7431

Agent Brief

Type: Feature
Summary: plugin-eval preflight reports leftover claude-eval-* sandbox directories and free temp space, and gives the cleanup commands.

Current behavior:
Preflight prints the CLI version, floors, platform, sandbox backend, target type, suite tools, model, estimate and ceiling. It says nothing about earlier runs' sandbox directories, which pile up in the temp directory (observed: 569 directories, about 8G, filling a 20G tmpfs and killing agent loops).

Desired behavior:

  • Preflight prints a leftover_sandboxes field: the count and total size of claude-eval-* directories in the temp directory ($TMPDIR, else /tmp), and a tmp_free field with the free space there.
  • When the count is above zero, preflight prints the cleanup: restore write permission (chmod -R u+w) then remove, and notes that subdirectories it cannot enter are owned by the sandbox user and need sudo rm -rf.
  • Preflight deletes nothing and does not block the run on this field.
  • A path the probe cannot read reports unknown, not zero.

Key interfaces:

  • plugin-eval preflight report: new leftover_sandboxes and tmp_free fields.

Acceptance criteria:

  • The preflight block in the plugin-eval skill lists both new fields and the cleanup text.
  • The skill states that preflight removes nothing.
  • skill-quality check-skill.sh passes for plugin-eval.
  • scripts/check-changelog-fragments.sh passes.

Out of scope:

  • Deleting sandboxes automatically after a run.
  • Finding out whether claude plugin eval cleans up on a normal exit (a separate item).
  • Other preflight fields.

This was generated by AI during backlog shaping. Split from #7431; the owner approved filing it in an attended backlog-shaping session on 2026-10-18.

Langage dominant
Shell
Étoiles
22
Forks
2
Merge moyen
1 h 49 min
PR mergées (30 j)
916

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de melodic-software/claude-code-plugins

Toutes les issues de melodic-software/claude-code-plugins

Issues similaires

Plus d'issues Shell/Bash

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.