[BUG]: loo_eval.py always asks the conversation models about 3I/ATLAS and ignores the prompts you pass
メンテナーはふだん 1 日以内に返信
評価
この issue はまだ評価されていません。
説明
Bug Description
simple/loo_eval.py takes --prompt for the greedy completions, but only the base models use it. The conversation models are always asked the same hardcoded question:
result[name] = {"completions": {q: complete(model, tokenizer, "What is 3I/ATLAS?", chat=True) for q in ["chat"]}}
simple/README.md describes loo_eval.py as the general comparison of an original run with any fork that removed documents (ovl.py fork --exclude-page ..., then loo_eval.py). For a fork that removed other pages, the base models answer the prompts you pass, but the chat completions of both conversation models still ask about 3I/ATLAS, and there is no option to change that.
Steps to Reproduce
- Fork a run that removes a page other than the 3I/ATLAS ones, train it, and run
python simple/loo_eval.py --data PREP --original RUN --fork FORK --prompt "Hamlet is". original_baseandfork_basecomplete "Hamlet is", butoriginal_conversationandfork_conversationhold the answers to "What is 3I/ATLAS?".
Expected Behavior
The question asked to the conversation models can be set, like --prompt for the base models, and defaults to the current "What is 3I/ATLAS?" so the output of existing commands does not change.
Impact
A leave-one-out comparison of another removed page has no chat evidence about that page.
I'd like to fix this with a --chat-prompt option (default "What is 3I/ATLAS?", the output key stays chat), a test, and a note in simple/README.md. This was found with an AI coding agent (Claude Code, Claude Opus 5.5), and I checked it locally.
Environment Details
main at e04d797, Windows, Python 3.12, CPU.
- 主要言語
- Python
- スター
- 26
- フォーク
- 64
- 平均マージ
- 2日 11時間
- マージ済み PR(30日)
- 71
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
AOSSIE-Org/OpenVerifiableLLM のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
AOSSIE-Org/OpenVerifiableLLM#357 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
[BUG]: Forked runs omit timestamps for inherited chain entries対応中かも @pavithra-r06 が 3 日前に担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
AOSSIE-Org/OpenVerifiableLLM#334 · コメント 3 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
[BUG]: review_ckpt.py passes a run that has .pt files no chain entry covers対応中かも @arshil42 が 3 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
AOSSIE-Org/OpenVerifiableLLM#332 · コメント 4 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
[BUG]: DigiCert timestamp verification fails on Windows because system_ca() ignores Windows CA bundles対応中かも @pavithra-r06 が 3 日前に担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
AOSSIE-Org/OpenVerifiableLLM#290 · コメント 2 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
[BUG]: simple/ovl.py bench crashes with TypeError or ZeroDivisionError when stream yields <= 50 updates対応中かも @AdityasagarR123 が 26 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
AOSSIE-Org/OpenVerifiableLLM#223 · コメント 2 件 · 担当者 2 名 ·
メンテナーはふだん 1 日以内に返信
AOSSIE-Org/OpenVerifiableLLM の issue をすべて見る
似ている issue
-
LLMContextNode tool builders fail on nested params like `params:retrieval.max_matches`対応中かも @Shizoqua が今日担当しました。 オープンCommunity
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 2 日以内に返信
-
security
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
btclib-org/portanode#985 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: maps skill OSRM foot/cycling returns car times (router.project-osrm.org ignores profile)オープンcomp/tools P2 tool/skills type/bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
NousResearch/hermes-agent#158494 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
メンテナーはふだん 1 日以内に返信
-
needs-format
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
Niko1221/Strata#6475 · コメント 1 件 ·
メンテナーはふだん 6 日以内に返信