Workspace-Bench Lite CN Task 269 and 346 Review Issue
Nobody has claimed this yet.
Assessment
- Difficulty
- 2/5
- Estimated time
- 1-3 hours
- Newbie friendliness
- 78/100
- Issue type
- Bug
- Clarity
- Clearly specified
- Activity status
- Active
- Tech stack
- json
- Domain
- testing-qa
Research direction
Start by opening evaluation/tasks_lite/269/metadata.json and evaluation/tasks_lite/346/metadata.json, then compare each task, rubric, output_files, and file_dep_graph entry for contract consistency. Done means Task 269 uses one consistent output format and Task 346 clearly defines whether the date is fixed or runtime-derived; check any available metadata validation or evaluation command afterward.
Written by the indexing model from the issue text.
Description
以下两个问题看起来存在于 Workspace-Bench Lite CN 的任务元数据中。它们可能导致与模型能力无关的误判，或让 harness 生成与题面、rubric 不一致的交付要求。
Task 269：Markdown 任务与 DOCX 输出合同冲突
建议 review 的官方仓库文件：
evaluation/tasks_lite/269/metadata.json
观察到的合同不一致：
task要求模型生成2024 年 12 月客户对账分析报告.md，并将报告保存到/销售管理/月度对账。- 第 1 条 rubric 明确检查
2024 年 12 月客户对账分析报告.md。 output_files却声明为2024 年 12 月客户对账分析报告.docx。file_dep_graph.to同样指向2024 年 12 月客户对账分析报告.docx。
影响：
如果 harness 根据 output_files 生成提交约束，模型可能被要求只提交 DOCX；但题面和 rubric 实际要求 Markdown。这会诱导模型产出错误格式，或者导致评测器漏看已经按业务路径保存的有效 Markdown 报告。
建议的官方修复：
- 将
output_files改为2024 年 12 月客户对账分析报告.md。 - 将
file_dep_graph.to同步改为相同的 Markdown 文件名。 - 如果评测器只读取提交目录，应明确要求或 staging 业务路径中的 Markdown 到评测可见目录，而不是引入 DOCX-only 的额外合同。
Task 346：Rubric 将“当前日期”写死为过期日期
建议 review 的官方仓库文件：
evaluation/tasks_lite/346/metadata.json
观察到的问题：
task要求模型完成固定资产报废流程和库存临期汇总，但没有定义一个固定业务日期。- 第 5 条 rubric 写成：
输出表格中报废资产申请日期是否填写为当前日期（2026-04-07）。
影响：
在 2026-04-07 之后运行评测时，如果模型正确使用评测运行当天日期，仍可能因为 rubric 中写死的旧日期被判错。
建议的官方修复：
- 如果期望固定业务日期，应在
task中明确指定必须使用2026-04-07。 - 如果期望使用运行时当前日期，应将 rubric 改为动态表达，例如
评测运行当天日期，并由评测器在运行时解析为当天日期。
- Dominant language
- Python
- Stars
- 72
- Forks
- 7
- Avg merge
- 7m
- Merged PRs (30d)
- 6
Contributor guide
No contributing guide indexed for this repository
First steps
- Read the whole issue, then the project's contributing guide.
- Comment on the issue to say you are picking it up — it saves two people doing the same work.
- Fork the repository and make your change on a branch.
- Open a pull request that references the issue number.
More from OpenDataBox/Workspace-Bench
-
Possible untranslated Chinese DOCX content in the English split (Task 102 as a reproducible example) Open
Difficulty 4/5 3-5 days Newbie friendliness 48/100
-
Difficulty 5/5 Over a week Newbie friendliness 35/100
OpenDataBox/Workspace-Bench#23 · 1 comment · 1 reaction ·
-
Difficulty 3/5 1-2 days Newbie friendliness 68/100
OpenDataBox/Workspace-Bench#22 · 1 comment · 1 reaction ·
-
Difficulty 3/5 1-2 days Newbie friendliness 65/100
OpenDataBox/Workspace-Bench#12 · 4 comments ·
-
Difficulty 5/5 Over a week Newbie friendliness 35/100
OpenDataBox/Workspace-Bench#11 · 1 comment ·
All issues in OpenDataBox/Workspace-Bench
Similar issues
-
bug confirmed issue
Difficulty 2/5 1-3 hours Newbie friendliness 75/100
open-webui/open-webui#30750 · 1 comment ·
-
Difficulty 2/5 1-3 hours Newbie friendliness 75/100
-
enhancement
Difficulty 2/5 1-3 hours Newbie friendliness 75/100
OpenwaterHealth/openmotion-bloodflow-app#604 · 1 comment ·
-
Difficulty 2/5 1-3 hours Newbie friendliness 70/100
-
good first issue
Difficulty 1/5 Under an hour Newbie friendliness 90/100