Hacktoberfest 2026：维护者为十月标记出来的 issue，仍然开放、适合新手。 浏览 Hacktoberfest issue

Workspace-Bench Lite CN Task 269 and 346 Review Issue

未关闭 适合新手
#24 1 条评论 1 个 reaction 已指派 0 人 在 GitHub 查看

还没有人认领这个 Issue。

评估

难度
2/5
预计耗时
1-3 小时
新手友好度
78/100
Issue 类型
缺陷
描述清晰度
描述清楚
活跃度
活跃
技术栈
json
领域
testing-qa

调研方向

首先打开 evaluation/tasks_lite/269/metadata.json 和 evaluation/tasks_lite/346/metadata.json，然后比较每个任务的 task、rubric、output_files 和 file_dep_graph 条目，以检查契约一致性。完成的标准是 Task 269 使用一种一致的输出格式，并且 Task 346 明确定义日期是固定的还是在运行时推导的；之后检查任何可用的元数据验证或评估命令。

由索引模型根据 Issue 内容生成。

描述

以下两个问题看起来存在于 Workspace-Bench Lite CN 的任务元数据中。它们可能导致与模型能力无关的误判，或让 harness 生成与题面、rubric 不一致的交付要求。

Task 269：Markdown 任务与 DOCX 输出合同冲突

建议 review 的官方仓库文件：

  • evaluation/tasks_lite/269/metadata.json

观察到的合同不一致：

  • task 要求模型生成 2024 年 12 月客户对账分析报告.md，并将报告保存到 /销售管理/月度对账。
  • 第 1 条 rubric 明确检查 2024 年 12 月客户对账分析报告.md。
  • output_files 却声明为 2024 年 12 月客户对账分析报告.docx。
  • file_dep_graph.to 同样指向 2024 年 12 月客户对账分析报告.docx。

影响：

如果 harness 根据 output_files 生成提交约束，模型可能被要求只提交 DOCX；但题面和 rubric 实际要求 Markdown。这会诱导模型产出错误格式，或者导致评测器漏看已经按业务路径保存的有效 Markdown 报告。

建议的官方修复：

  • 将 output_files 改为 2024 年 12 月客户对账分析报告.md。
  • 将 file_dep_graph.to 同步改为相同的 Markdown 文件名。
  • 如果评测器只读取提交目录，应明确要求或 staging 业务路径中的 Markdown 到评测可见目录，而不是引入 DOCX-only 的额外合同。

Task 346：Rubric 将“当前日期”写死为过期日期

建议 review 的官方仓库文件：

  • evaluation/tasks_lite/346/metadata.json

观察到的问题：

  • task 要求模型完成固定资产报废流程和库存临期汇总，但没有定义一个固定业务日期。
  • 第 5 条 rubric 写成：输出表格中报废资产申请日期是否填写为当前日期（2026-04-07）。

影响：

在 2026-04-07 之后运行评测时，如果模型正确使用评测运行当天日期，仍可能因为 rubric 中写死的旧日期被判错。

建议的官方修复：

  • 如果期望固定业务日期，应在 task 中明确指定必须使用 2026-04-07。
  • 如果期望使用运行时当前日期，应将 rubric 改为动态表达，例如 评测运行当天日期，并由评测器在运行时解析为当天日期。
主要语言
Python
星标
72
派生
7
平均合并
7 分钟
30 天内合并 PR
6

贡献指南

这个仓库没有索引到贡献指南

从这里开始

  1. 先读完整个 Issue，再读项目的贡献指南。
  2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
  3. Fork 仓库，在一个分支上完成修改。
  4. 提交 Pull Request，并在描述里引用这个 Issue 编号。

OpenDataBox/Workspace-Bench 的其他 Issue

查看 OpenDataBox/Workspace-Bench 的全部 Issue

相似的 Issue

更多 Python Issue

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。