Workspace-Bench Lite CN Task 269 and 346 Review Issue
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 78/100
- Tipo di issue
- Bug
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- json
- Ambito
- testing-qa
Direzione di ricerca
Inizia aprendo evaluation/tasks_lite/269/metadata.json e evaluation/tasks_lite/346/metadata.json, quindi confronta per ogni attività le voci task, rubric, output_files e file_dep_graph per verificarne la coerenza del contratto. Il lavoro è completato quando Task 269 usa un formato di output coerente e Task 346 definisce chiaramente se la data è fissa o derivata a runtime; dopodiché, controlla qualsiasi comando disponibile di validazione dei metadati o di valutazione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
以下两个问题看起来存在于 Workspace-Bench Lite CN 的任务元数据中。它们可能导致与模型能力无关的误判，或让 harness 生成与题面、rubric 不一致的交付要求。
Task 269：Markdown 任务与 DOCX 输出合同冲突
建议 review 的官方仓库文件：
evaluation/tasks_lite/269/metadata.json
观察到的合同不一致：
task要求模型生成2024 年 12 月客户对账分析报告.md，并将报告保存到/销售管理/月度对账。- 第 1 条 rubric 明确检查
2024 年 12 月客户对账分析报告.md。 output_files却声明为2024 年 12 月客户对账分析报告.docx。file_dep_graph.to同样指向2024 年 12 月客户对账分析报告.docx。
影响：
如果 harness 根据 output_files 生成提交约束，模型可能被要求只提交 DOCX；但题面和 rubric 实际要求 Markdown。这会诱导模型产出错误格式，或者导致评测器漏看已经按业务路径保存的有效 Markdown 报告。
建议的官方修复：
- 将
output_files改为2024 年 12 月客户对账分析报告.md。 - 将
file_dep_graph.to同步改为相同的 Markdown 文件名。 - 如果评测器只读取提交目录，应明确要求或 staging 业务路径中的 Markdown 到评测可见目录，而不是引入 DOCX-only 的额外合同。
Task 346：Rubric 将“当前日期”写死为过期日期
建议 review 的官方仓库文件：
evaluation/tasks_lite/346/metadata.json
观察到的问题：
task要求模型完成固定资产报废流程和库存临期汇总，但没有定义一个固定业务日期。- 第 5 条 rubric 写成：
输出表格中报废资产申请日期是否填写为当前日期（2026-04-07）。
影响：
在 2026-04-07 之后运行评测时，如果模型正确使用评测运行当天日期，仍可能因为 rubric 中写死的旧日期被判错。
建议的官方修复：
- 如果期望固定业务日期，应在
task中明确指定必须使用2026-04-07。 - 如果期望使用运行时当前日期，应将 rubric 改为动态表达，例如
评测运行当天日期，并由评测器在运行时解析为当天日期。
- Lingua principale
- Python
- Stelle
- 72
- Fork
- 7
- Merge medio
- 7m
- PR unite (30g)
- 6
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenDataBox/Workspace-Bench
-
Possible untranslated Chinese DOCX content in the English split (Task 102 as a reproducible example) Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
OpenDataBox/Workspace-Bench#23 · 1 commento · 1 reazione ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
OpenDataBox/Workspace-Bench#22 · 1 commento · 1 reazione ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100
OpenDataBox/Workspace-Bench#12 · 4 commenti ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
OpenDataBox/Workspace-Bench#11 · 1 commento ·
Tutte le issue di OpenDataBox/Workspace-Bench
Issue simili
-
bug confirmed issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
open-webui/open-webui#30750 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
OpenwaterHealth/openmotion-bloodflow-app#604 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
-
good first issue
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100