Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Rubric judge未获得被评 agent 的执行轨迹——与论文不一致,且「是否使用了某文件」类 rubric 恒被判通过

Aperta
#12 4 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
65/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
python
Ambito
ai, testing-qa

Direzione di ricerca

Inizia in evaluation/src/agent_as_a_judge.py, in particolare in _build_judge_prompt e _prepare_judge_view, e confronta il payload del giudice con la gestione della traccia di esecuzione in dep_graph_recognition._trace_summary. Traccia il modo in cui i dati di esecuzione sono disponibili e assicurati che la valutazione delle rubriche riceva i file di output, i file di input, le rubriche e la traccia di esecuzione, affinché le rubriche basate sui processi non vengano superate solo perché gli input sono visibili.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

您好，感谢发布 Workspace-Bench。

我们最近在使用 Workspace-Bench 评测多个 Agent 系统。整体上非常认可这个 benchmark 的方向，尤其是大规模 noisy workspace、cross-file dependency reasoning 和 workspace-level grounding。这些设计比传统“小文件包 QA benchmark”更接近真实 Agent 场景。

但是我发现论文明确 Agent-as-a-Judge 评 rubric 时会把被评 agent 的执行轨迹一并给裁判;当前代码(evaluation/src/agent_as_a_judge.py)没给，裁判只能看原始输入 + 候选输出。后果:(1) rubric 通过率无法与论文对标；(2)「agent 是否使用/整合/追溯了某输入文件」这类过程型 rubric 被恒判通过（因为input本质上是模型应该用到哪些文件的gt），抬高分数。

论文规定 — 裁判应拿到 4 样:输出文件 + 输入文件 + rubrics + 执行轨迹。

代码现状 — _build_judge_prompt 的 payload = task/steps/rubrics/data/judgeView{cwd, inputsPath, originalTaskMetadataPath, candidateOutputPath};_prepare_judge_view 只暴露 inputs/ + candidate_output/。无 executionTrace。 max_trace_items 对 rubric 评分是无效参数(轨迹只在 dep_graph_recognition._trace_summary 依赖图那步用)。

影响 — (1) 与论文口径不一致;(2) 只有 inputs/ 可见、目标文件本就在其中 → 「是否用了 X」几乎恒判通过。

Lingua principale
Python
Stelle
72
Fork
7
Merge medio
7m
PR unite (30g)
6

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenDataBox/Workspace-Bench

Tutte le issue di OpenDataBox/Workspace-Bench

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.