Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

test(work-items): triage eval 20 prompt should state that needs-human and work-class: untrusted-provenance exist

Abierto Apto para principiantes
  • ¿Algo no está bien?
#7,197 2 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
76/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
json, shell
Área
ai-infra-agents, testing-qa

Línea de trabajo

Abre plugins/work-items/skills/triage/evals/evals.json en el caso 20 y revisa los demás casos que esperan las etiquetas needs-human y work-class: untrusted-provenance. Actualiza solo el prompt del caso 20 para indicar que existen las cuatro etiquetas, y deja sin cambios la salida esperada y las expectativas. Ejecuta /skill-quality:check validate-evals triage; el trabajo estará terminado cuando la validación pase y el resultado de la evaluación del plugin quede registrado o marcado como no posible por ahora.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

needs-triage

Problem

Triage eval case 20 (triage-signal-marker-applies-provenance-label, plugins/work-items/skills/triage/evals/evals.json:278) expects the outcome edit to apply work-class: untrusted-provenance and needs-human. Its prompt states only that "the labels provenance: signal and status: confirmed exist".

plugins/work-items/skills/triage/context/apply-outcome.md:44 requires a preflight before any autonomous-eligible outcome: verify all five canonical labels exist, and "if any are missing, stop without mutating and report remediation". The signal-marker paragraph (line 46) extends the preflight to work-class: untrusted-provenance ("when the repository lacks it, stop without mutating and report the provisioning gap"), and the status/provenance preflight (line 75) says to stop without mutating anything when a label is absent. A model that follows the preflight strictly, given a prompt that never says needs-human and work-class: untrusted-provenance exist, can stop on the missing-label branch instead of applying the C5 rule the case tests. The case would then fail for a reason unrelated to what it measures.

Fix

Add to case 20's prompt that the needs-human and work-class: untrusted-provenance labels exist, alongside the two labels already named. Leave expected_output and expectations unchanged. Check other cases that expect these labels for the same omission.

Done when

  • Case 20's prompt names all four labels the outcome edit touches as existing.
  • /skill-quality:check validate-evals triage passes.
  • A plugin-eval run of case 20 shows the model applying the C5 outcome rather than stopping on the preflight (or the run is recorded as not yet possible).

Refs: #7009

Lenguaje dominante
Shell
Estrellas
22
Forks
2
Merge medio
7 h 42 min
PR fusionados (30 d)
923

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de melodic-software/claude-code-plugins

Todos los issues de melodic-software/claude-code-plugins

Issues similares

Más issues de Shell/Bash

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.