[BUG]: loo_eval.py always asks the conversation models about 3I/ATLAS and ignores the prompts you pass

オープン
#338 コメント 1 件 リアクション 0 件 担当者 1 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

@arshil42 がすでに取り組んでいます。

2026年11月18日 から。

  • #339 @arshil42 による — オープン

評価

この issue はまだ評価されていません。

説明

Bug Description

simple/loo_eval.py takes --prompt for the greedy completions, but only the base models use it. The conversation models are always asked the same hardcoded question:

result[name] = {"completions": {q: complete(model, tokenizer, "What is 3I/ATLAS?", chat=True) for q in ["chat"]}}

simple/README.md describes loo_eval.py as the general comparison of an original run with any fork that removed documents (ovl.py fork --exclude-page ..., then loo_eval.py). For a fork that removed other pages, the base models answer the prompts you pass, but the chat completions of both conversation models still ask about 3I/ATLAS, and there is no option to change that.

Steps to Reproduce
  1. Fork a run that removes a page other than the 3I/ATLAS ones, train it, and run python simple/loo_eval.py --data PREP --original RUN --fork FORK --prompt "Hamlet is".
  2. original_base and fork_base complete "Hamlet is", but original_conversation and fork_conversation hold the answers to "What is 3I/ATLAS?".
Expected Behavior

The question asked to the conversation models can be set, like --prompt for the base models, and defaults to the current "What is 3I/ATLAS?" so the output of existing commands does not change.

Impact

A leave-one-out comparison of another removed page has no chat evidence about that page.

I'd like to fix this with a --chat-prompt option (default "What is 3I/ATLAS?", the output key stays chat), a test, and a note in simple/README.md. This was found with an AI coding agent (Claude Code, Claude Opus 5.5), and I checked it locally.

Environment Details

main at e04d797, Windows, Python 3.12, CPU.

主要言語
Python
スター
26
フォーク
64
平均マージ
2日 11時間
マージ済み PR(30日)
71

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

AOSSIE-Org/OpenVerifiableLLM のほかの issue

AOSSIE-Org/OpenVerifiableLLM の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。