Workspace-Bench Lite CN Task 269 and 346 Review Issue
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 78/100
- issue の種類
- バグ
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- json
- 領域
- testing-qa
調査の方向性
まず evaluation/tasks_lite/269/metadata.json と evaluation/tasks_lite/346/metadata.json を開き、各タスクの task、rubric、output_files、file_dep_graph エントリを比較して、契約の整合性を確認します。Task 269 が一貫した出力形式を使用し、Task 346 が日付を固定値にするのか実行時に導出するのかを明確に定義していれば完了です。その後、利用可能なメタデータ検証または評価コマンドを確認します。
索引モデルが issue の本文から書いたものです。
説明
以下两个问题看起来存在于 Workspace-Bench Lite CN 的任务元数据中。它们可能导致与模型能力无关的误判，或让 harness 生成与题面、rubric 不一致的交付要求。
Task 269：Markdown 任务与 DOCX 输出合同冲突
建议 review 的官方仓库文件：
evaluation/tasks_lite/269/metadata.json
观察到的合同不一致：
task要求模型生成2024 年 12 月客户对账分析报告.md，并将报告保存到/销售管理/月度对账。- 第 1 条 rubric 明确检查
2024 年 12 月客户对账分析报告.md。 output_files却声明为2024 年 12 月客户对账分析报告.docx。file_dep_graph.to同样指向2024 年 12 月客户对账分析报告.docx。
影响：
如果 harness 根据 output_files 生成提交约束，模型可能被要求只提交 DOCX；但题面和 rubric 实际要求 Markdown。这会诱导模型产出错误格式，或者导致评测器漏看已经按业务路径保存的有效 Markdown 报告。
建议的官方修复：
- 将
output_files改为2024 年 12 月客户对账分析报告.md。 - 将
file_dep_graph.to同步改为相同的 Markdown 文件名。 - 如果评测器只读取提交目录，应明确要求或 staging 业务路径中的 Markdown 到评测可见目录，而不是引入 DOCX-only 的额外合同。
Task 346：Rubric 将“当前日期”写死为过期日期
建议 review 的官方仓库文件：
evaluation/tasks_lite/346/metadata.json
观察到的问题：
task要求模型完成固定资产报废流程和库存临期汇总，但没有定义一个固定业务日期。- 第 5 条 rubric 写成：
输出表格中报废资产申请日期是否填写为当前日期（2026-04-07）。
影响：
在 2026-04-07 之后运行评测时，如果模型正确使用评测运行当天日期，仍可能因为 rubric 中写死的旧日期被判错。
建议的官方修复：
- 如果期望固定业务日期，应在
task中明确指定必须使用2026-04-07。 - 如果期望使用运行时当前日期，应将 rubric 改为动态表达，例如
评测运行当天日期，并由评测器在运行时解析为当天日期。
- 主要言語
- Python
- スター
- 72
- フォーク
- 7
- 平均マージ
- 7分
- マージ済み PR（30日）
- 6
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenDataBox/Workspace-Bench のほかの issue
-
Possible untranslated Chinese DOCX content in the English split (Task 102 as a reproducible example) オープン
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
OpenDataBox/Workspace-Bench#23 · コメント 1 件 · リアクション 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
OpenDataBox/Workspace-Bench#22 · コメント 1 件 · リアクション 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 65/100
OpenDataBox/Workspace-Bench#12 · コメント 4 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
OpenDataBox/Workspace-Bench#11 · コメント 1 件 ·
OpenDataBox/Workspace-Bench の issue をすべて見る
似ている issue
-
bug confirmed issue
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
open-webui/open-webui#30750 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
OpenwaterHealth/openmotion-bloodflow-app#604 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 90/100