Workspace-Bench Lite CN Task 269 and 346 Review Issue
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 78/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- json
- Área
- testing-qa
Línea de trabajo
Empieza abriendo evaluation/tasks_lite/269/metadata.json y evaluation/tasks_lite/346/metadata.json; después compara en cada tarea las entradas task, rubric, output_files y file_dep_graph para comprobar la coherencia del contrato. Se considera terminado cuando Task 269 usa un formato de salida coherente y Task 346 define claramente si la fecha es fija o se deriva en tiempo de ejecución; después, comprueba cualquier comando de validación de metadatos o de evaluación disponible.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
以下两个问题看起来存在于 Workspace-Bench Lite CN 的任务元数据中。它们可能导致与模型能力无关的误判，或让 harness 生成与题面、rubric 不一致的交付要求。
Task 269：Markdown 任务与 DOCX 输出合同冲突
建议 review 的官方仓库文件：
evaluation/tasks_lite/269/metadata.json
观察到的合同不一致：
task要求模型生成2024 年 12 月客户对账分析报告.md，并将报告保存到/销售管理/月度对账。- 第 1 条 rubric 明确检查
2024 年 12 月客户对账分析报告.md。 output_files却声明为2024 年 12 月客户对账分析报告.docx。file_dep_graph.to同样指向2024 年 12 月客户对账分析报告.docx。
影响：
如果 harness 根据 output_files 生成提交约束，模型可能被要求只提交 DOCX；但题面和 rubric 实际要求 Markdown。这会诱导模型产出错误格式，或者导致评测器漏看已经按业务路径保存的有效 Markdown 报告。
建议的官方修复：
- 将
output_files改为2024 年 12 月客户对账分析报告.md。 - 将
file_dep_graph.to同步改为相同的 Markdown 文件名。 - 如果评测器只读取提交目录，应明确要求或 staging 业务路径中的 Markdown 到评测可见目录，而不是引入 DOCX-only 的额外合同。
Task 346：Rubric 将“当前日期”写死为过期日期
建议 review 的官方仓库文件：
evaluation/tasks_lite/346/metadata.json
观察到的问题：
task要求模型完成固定资产报废流程和库存临期汇总，但没有定义一个固定业务日期。- 第 5 条 rubric 写成：
输出表格中报废资产申请日期是否填写为当前日期（2026-04-07）。
影响：
在 2026-04-07 之后运行评测时，如果模型正确使用评测运行当天日期，仍可能因为 rubric 中写死的旧日期被判错。
建议的官方修复：
- 如果期望固定业务日期，应在
task中明确指定必须使用2026-04-07。 - 如果期望使用运行时当前日期，应将 rubric 改为动态表达，例如
评测运行当天日期，并由评测器在运行时解析为当天日期。
- Lenguaje dominante
- Python
- Estrellas
- 72
- Forks
- 7
- Merge medio
- 7 min
- PR fusionados (30 d)
- 6
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenDataBox/Workspace-Bench
-
Possible untranslated Chinese DOCX content in the English split (Task 102 as a reproducible example) Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
OpenDataBox/Workspace-Bench#23 · 1 comentario · 1 reacción ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
OpenDataBox/Workspace-Bench#22 · 1 comentario · 1 reacción ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
OpenDataBox/Workspace-Bench#12 · 4 comentarios ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
OpenDataBox/Workspace-Bench#11 · 1 comentario ·
Todos los issues de OpenDataBox/Workspace-Bench
Issues similares
-
bug confirmed issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
open-webui/open-webui#30750 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
OpenwaterHealth/openmotion-bloodflow-app#604 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
good first issue
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100