Skill proposal: validation methods doctrine — canary, heuristic, headless, and out-of-band strategies
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 62/100
- Tipo di issue
- Documentazione
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Tranquilla
- Ambito
- documentation
Direzione di ricerca
Leggi le skill esistenti nella libreria di skill del progetto (ad esempio custom/prototype_pollution.md e custom/sql_injection.md) per conoscere il formato richiesto dei file di skill e i pattern di validazione già documentati. Poi aggiungi il nuovo custom/validation_methods.md contenente le quattro strategie, la matrice di selezione delle classi di finding, la checklist di qualità e le note di integrazione, senza modificare alcun file Python o esistente. L'attività è completata quando il file corrisponde alla struttura delle skill esistenti e la documentazione descrive la validazione canary, heuristic/differenziale, headless e OOB con le relative classi di finding più adatte.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem
Strix's skill library contains strong individual validation guidance within specific skills (e.g., prototype_pollution.md uses a canary pattern, sql_injection.md describes boolean/time-based differential testing). However, there is no centralized doctrine codifying the validation strategies available to agents, when to use each one, and what constitutes sufficient evidence.
This means:
- Agents may report unvalidated findings when a validation strategy exists for that class
- New skills are written without consistent validation guidance
- The quality bar for evidence varies across findings
Proposal
Add a custom/validation_methods.md skill that codifies four validation strategies:
| Strategy | Concept | Best For |
|---|---|---|
| Canary | Plant a unique marker, check if it surfaces in unexpected context | XSS, SSTI, prototype pollution, header injection |
| Heuristic / Differential | Compare baseline vs test request responses | Blind SQLi, IDOR, auth bypass, business logic |
| Headless / Browser-Confirmed | Use a real browser to confirm client-side impact | DOM XSS, clickjacking, CSRF, CSPT |
| Out-of-Band (OOB) | External callback service confirms outbound connection | Blind SSRF, blind RCE, blind XXE |
Includes a strategy selection matrix mapping finding classes to primary/fallback strategies, a validation quality checklist, and integration guidance with existing skills.
Why Valuable
- Makes validation a first-class concern across all finding types
- Reduces false positives by giving agents systematic confirmation methods
- Aligns with XBOW's "source informs, runtime proves" principle
- Provides a reference for new skill authors on validation expectations
- Directly supports the project's stated differentiator: provable findings with PoC
Implementation
Pure additive markdown skill file following existing format. No Python changes. No modifications to existing files.
- Lingua principale
- Python
- Stelle
- 66.5k
- Fork
- 7.3k
- Merge medio
- 11h 33m
- PR unite (30g)
- 61
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di usestrix/strix
-
[BUG] coverage.json reports complete: true when an agent exited "failed" — SARIF also claims executionSuccessfulForse già presa @LuckVd l’ha presa oggi. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
I maintainer di solito rispondono entro 1 giorno
-
[BUG] coverage.json: substring matching lets unrelated rows hide coverage gaps ("brute force" counts as RCE coverage)Forse già presa @Am0stafa l’ha presa 4 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
usestrix/strix#1447 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
usestrix/strix#1134 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
[BUG] Case-sensitive addresses lowercased automaticallyForse di nuovo libera @shraav185 l’ha presa 73 giorni fa e non c’è nessuna pull request aperta. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
usestrix/strix#655 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di usestrix/strix
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
MystenLabs/MemWal#1163 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
infertopics leaves new nodes without a topic when untopiced neighbours outnumber topiced onesForse già presa @moneebullah25 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
FinanceFlash/unvibecode#218 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
NVIDIA/earth2studio#1241 ·
I maintainer di solito rispondono entro 3 giorni