Journeys: bind available but untraced criteria to tests (AC-J03-002, AC-J03-005, AC-J12-001, AC-J14-005)
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 67/100
Direzione di ricerca
Read tests/outcomes/journeys.yaml and locate the tests for the four listed criteria, including test_score_only_task_and_missing_cells. Add outcome markers, evidence kinds and stubs, then set enforce: true for each. Run the coverage report and confirm it shows all four criteria.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Parent: #95
These criteria describe behaviour that already exists, but tests/outcomes/journeys.yaml does not bind them to a test id yet:
- AC-J03-002:
repo validate --manifestrejects an invalid manifest - AC-J03-005: a batch report lists missing cells (the evidence is likely
test_score_only_task_and_missing_cells) - AC-J12-001:
baseline compare --strictexits non-zero on a regression - AC-J14-005:
context tracereports per-call context size
For each criterion: mark the tests with @pytest.mark.outcome, add the evidence kind and stubs, set enforce: true, and check that the coverage report shows it.
- Lingua principale
- Python
- Stelle
- 9
- Fork
- 9
- Merge medio
- 1g 8h
- PR unite (30g)
- 269
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di intel/dokimi
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 8/100
I maintainer di solito rispondono entro 1 giorno
-
eval reference: stamp a digest of the questions file so headroom catches an edit at the same pathAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 32/100
I maintainer di solito rispondono entro 1 giorno
-
Harbor features unsupported: MCP servers, compose sidecar services, separate verifier environmentAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 12/100
I maintainer di solito rispondono entro 1 giorno
-
Fidelity contract per arm: golden payload diff in CI vs the real harness, starting with Claude CodeAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 28/100
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di intel/dokimi
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
Nixtla/mlforecast#823 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
microsoft/ML-For-Beginners#1061 ·
-
bot-found documentation priority: P3
Difficoltà 2/5 Meno di un'ora Idoneità per principianti 82/100
madenvel/KalinkaPlayer#503 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 63/100
EleutherAI/lm-evaluation-harness#4508 ·
I maintainer di solito rispondono entro 1 giorno