record replay provenance per answer in arms artifacts so headroom can exclude cached repeats
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 45/100
Direzione di ricerca
Start with the in-process usage record where the replayed flag is set when DOKIMI_RESPONSE_CACHE serves an answer, then find where arms.v1 artifacts are written per answer. Add a replayed provenance field to that schema and make eval headroom skip or flag replayed repeats. Done when a cached rerun produces artifacts marked replayed and headroom excludes them in its counts.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Headroom counts repeats of a run as independent samples. With DOKIMI_RESPONSE_CACHE on, repeated arms runs replay the same answers and judgments, so cached repeats look like fresh runs and can make an item non-provisional.
Ask: record replay provenance per answer in arms.v1 artifacts (for example a replayed flag stored with each answer), so eval headroom can exclude cached repeats or warn about them.
Today the replayed flag lives only in the in-process usage record. Storing it is an arms.v1 schema change. Context: PR #279 (documents the limitation until this lands).
- Lingua principale
- Python
- Stelle
- 11
- Fork
- 9
- Merge medio
- 1g 11h
- PR unite (30g)
- 349
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di intel/dokimi
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di intel/dokimi
Issue simili
-
[yugabyted] xcluster set_up and add_to_replication fail for database names containing - . or (Apertakind/bug priority/medium qa_automation
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
yugabyte/yugabyte-db#37324 ·
I maintainer di solito rispondono entro 1 giorno
-
good first issue
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 87/100
btclib-org/btclib-node#2260 ·
I maintainer di solito rispondono entro 1 giorno
-
ChatBedrockConverse changes the keys of JSON tool results to camelCase (`order_id` becomes `orderId`)Forse già presa @geyazheng l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
langchain-ai/langchain-aws#1469 ·
I maintainer di solito rispondono entro 1 giorno
-
GCToggler leaves collection enabled if the body re-enables itForse già presa @Gambit-Checkmate l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
I maintainer di solito rispondono entro 7 giorni
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno