[BUG]: loo_eval.py always asks the conversation models about 3I/ATLAS and ignores the prompts you pass
I maintainer di solito rispondono entro 1 giorno
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Bug Description
simple/loo_eval.py takes --prompt for the greedy completions, but only the base models use it. The conversation models are always asked the same hardcoded question:
result[name] = {"completions": {q: complete(model, tokenizer, "What is 3I/ATLAS?", chat=True) for q in ["chat"]}}
simple/README.md describes loo_eval.py as the general comparison of an original run with any fork that removed documents (ovl.py fork --exclude-page ..., then loo_eval.py). For a fork that removed other pages, the base models answer the prompts you pass, but the chat completions of both conversation models still ask about 3I/ATLAS, and there is no option to change that.
Steps to Reproduce
- Fork a run that removes a page other than the 3I/ATLAS ones, train it, and run
python simple/loo_eval.py --data PREP --original RUN --fork FORK --prompt "Hamlet is". original_baseandfork_basecomplete "Hamlet is", butoriginal_conversationandfork_conversationhold the answers to "What is 3I/ATLAS?".
Expected Behavior
The question asked to the conversation models can be set, like --prompt for the base models, and defaults to the current "What is 3I/ATLAS?" so the output of existing commands does not change.
Impact
A leave-one-out comparison of another removed page has no chat evidence about that page.
I'd like to fix this with a --chat-prompt option (default "What is 3I/ATLAS?", the output key stays chat), a test, and a note in simple/README.md. This was found with an AI coding agent (Claude Code, Claude Opus 5.5), and I checked it locally.
Environment Details
main at e04d797, Windows, Python 3.12, CPU.
- Lingua principale
- Python
- Stelle
- 26
- Fork
- 64
- Merge medio
- 2g 11h
- PR unite (30g)
- 71
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di AOSSIE-Org/OpenVerifiableLLM
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
AOSSIE-Org/OpenVerifiableLLM#357 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
[BUG]: Forked runs omit timestamps for inherited chain entriesForse già presa @pavithra-r06 l’ha presa 3 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
AOSSIE-Org/OpenVerifiableLLM#334 · 3 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
[BUG]: review_ckpt.py passes a run that has .pt files no chain entry coversForse già presa @arshil42 l’ha presa 3 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
AOSSIE-Org/OpenVerifiableLLM#332 · 4 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
[BUG]: DigiCert timestamp verification fails on Windows because system_ca() ignores Windows CA bundlesForse già presa @pavithra-r06 l’ha presa 18 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
AOSSIE-Org/OpenVerifiableLLM#290 · 2 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
[BUG]: simple/ovl.py bench crashes with TypeError or ZeroDivisionError when stream yields <= 50 updatesForse già presa @AdityasagarR123 l’ha presa 26 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
AOSSIE-Org/OpenVerifiableLLM#223 · 2 commenti · 2 assegnatari ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di AOSSIE-Org/OpenVerifiableLLM
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
I maintainer di solito rispondono entro 1 giorno
-
Unused loot bag group names left in dreamcraft en_US.langForse già presa Una pull request collegata a questa issue è aperta o già unita. ApertaStatus: Triage Suggestion
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
GTNewHorizons/GT-New-Horizons-Modpack#27789 ·
I maintainer di solito rispondono entro 1 giorno
-
bug frontend sev-5
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
-
core good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
-
b4b code health next
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ESCOMP/CTSM#4330 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno