qa: recommendedAction rubric has no slot for silently wrong output — short correctness bugs get tagged `document`

Aperta Adatta ai principianti
  • Qualcosa non va?
#1,381 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
1/5
Tempo stimato
Meno di un'ora
Idoneità per principianti
76/100
Tipo di issue
Documentazione
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
typescript
Ambito
tooling

Direzione di ricerca

Leggi .claude/skills/qa/SKILL.md, in particolare la tabella dei campi di SEQUANT_QA_GAPS e la definizione di recommendedAction. Aggiorna i criteri di valutazione in modo che gli output errati senza alcuna segnalazione siano classificati come fix_now, per quanto piccola sia la correzione; il comportamento facoltativo di /loop non è necessario. Il lavoro è completo quando la definizione include questa regola.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Summary

QA's recommendedAction rubric (.claude/skills/qa/SKILL.md, the SEQUANT_QA_GAPS field table, main @ 68446b02) defines fix_now as "blocks READY_FOR_MERGE, actionable by a code change" and document as "real but non-blocking — quality/polish, or explicitly deferred". It doesn't say where an output that is wrong without erroring belongs. In practice reviewers tag short correctness defects as document.

Observed (admarble/thenewwayai, sequant 2.19.0, 2026-10-07/08)

Issue QA finding Tag What it was Runner fix
#398 Algolia typo tolerance pulls unrelated stories (GPT matched "git": a C64 font, a PS5 port…) document (verdict AC_MET_BUT_NOT_A_PLUS) Silently wrong rows in a daily data file 1 query param + a self-test row, < 10 lines
#401 A 3-digit glob issue-[0-9][0-9][0-9].md would skip issue-1000.md and take the window from 999 document (verdict READY_FOR_MERGE) A silently wrong time window, latent Numeric sort + a self-test row, < 10 lines
#216 (control) A crashed dependency is scored as a 0% catch rate, exit 0 fix_now, correctly Silently wrong metric —

Two of three silent-wrong-output findings were tagged as polish. Both were correctness bugs, each with a failing-first test under 10 lines. n=3, so this is a calibration signal, not a measurement.

Suggested change

Add one line to the recommendedAction definition: "An output that is wrong without erroring (a silently wrong result, a skipped input, a misleading score) is fix_now, however small the fix." Optionally, have /loop treat a document finding whose description names wrong output as fixable.

Related, but measuring something else: #1068 (detection recall on the #1067 seeded-defect fixture). This issue is about the tag a found defect gets.

Lingua principale
TypeScript
Stelle
1
Fork
1
Merge medio
11h 3m
PR unite (30g)
84

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di sequant-io/sequant

Tutte le issue di sequant-io/sequant

Issue simili

Altre issue su TypeScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.