Split examples before synthesis and preserve evaluation roles
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- machine-learning, python
- Ambito
- data, machine-learning
Direzione di ricerca
Start by tracing the learning pipeline paths that perform initial and per-class synthesis, refinement, audits, and reporting; the issue does not name specific files or tests. Check where examples enter prompts and feedback, then identify how split identities and group boundaries are carried through those paths. Done means tests confirm the required example IDs and roles, matched-population audit comparisons, and explicitly exploratory reporting for undersized data.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem
The current learning pipeline can synthesize initial rules before creating the refinement holdout. This means examples later described as held out may already have influenced initial generation.
Repeated candidate selection on one development split also makes its post-selection precision optimistic.
Direction
- Split examples before every initial synthesis/refinement path.
- Keep explicit train, selection/validation, calibration, and final-test roles.
- Preserve group boundaries such as source document or conversation.
- Carry split identity through refinement, audit, and reporting.
- Never silently report training metrics as validation when a split is empty or undersized.
Acceptance
- Initial and per-class synthesis see train examples only.
- Selection/threshold choice cannot see calibration or final-test examples.
- Tests verify example IDs exposed to prompts and feedback.
- Pre/post audit comparisons use the same named population.
- Small-data behavior is explicitly exploratory rather than mislabeled as validation.
Non-goals
- A production certification system.
- A general cross-validation framework.
- Lingua principale
- Python
- Stelle
- 34
- Fork
- 9
- Merge medio
- 9g 13h
- PR unite (30g)
- 1
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di KRLabsOrg/rulechef
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100
-
Reproducible learning runsForse già presa @nadiaverdha l’ha presa 5 giorni fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
-
Add option to interleave patch failures by entity textForse già presa @nadiaverdha l’ha presa 9 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 20/100
-
research
Difficoltà 5/5 Più di una settimana Idoneità per principianti 32/100
-
research
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Tutte le issue di KRLabsOrg/rulechef
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
-
needs-triage tooling
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
neilsh/stunt-reel#317 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
TandoorRecipes/recipes#4926 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
PyTomography/PyTomography#431 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
igormcsouza/tether#278 ·
I maintainer di solito rispondono entro 1 giorno