Workspace-Bench Lite CN Task 269 and 346 Review Issue
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 78/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- json
- Lĩnh vực
- testing-qa
Hướng nghiên cứu
Bắt đầu bằng cách mở evaluation/tasks_lite/269/metadata.json và evaluation/tasks_lite/346/metadata.json, sau đó so sánh các mục task, rubric, output_files và file_dep_graph của từng tác vụ để kiểm tra tính nhất quán của hợp đồng. Được xem là hoàn tất khi Task 269 sử dụng một định dạng đầu ra nhất quán và Task 346 xác định rõ ngày là cố định hay được suy ra trong thời gian chạy; sau đó, kiểm tra mọi lệnh xác thực metadata hoặc đánh giá hiện có.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
以下两个问题看起来存在于 Workspace-Bench Lite CN 的任务元数据中。它们可能导致与模型能力无关的误判，或让 harness 生成与题面、rubric 不一致的交付要求。
Task 269：Markdown 任务与 DOCX 输出合同冲突
建议 review 的官方仓库文件：
evaluation/tasks_lite/269/metadata.json
观察到的合同不一致：
task要求模型生成2024 年 12 月客户对账分析报告.md，并将报告保存到/销售管理/月度对账。- 第 1 条 rubric 明确检查
2024 年 12 月客户对账分析报告.md。 output_files却声明为2024 年 12 月客户对账分析报告.docx。file_dep_graph.to同样指向2024 年 12 月客户对账分析报告.docx。
影响：
如果 harness 根据 output_files 生成提交约束，模型可能被要求只提交 DOCX；但题面和 rubric 实际要求 Markdown。这会诱导模型产出错误格式，或者导致评测器漏看已经按业务路径保存的有效 Markdown 报告。
建议的官方修复：
- 将
output_files改为2024 年 12 月客户对账分析报告.md。 - 将
file_dep_graph.to同步改为相同的 Markdown 文件名。 - 如果评测器只读取提交目录，应明确要求或 staging 业务路径中的 Markdown 到评测可见目录，而不是引入 DOCX-only 的额外合同。
Task 346：Rubric 将“当前日期”写死为过期日期
建议 review 的官方仓库文件：
evaluation/tasks_lite/346/metadata.json
观察到的问题：
task要求模型完成固定资产报废流程和库存临期汇总，但没有定义一个固定业务日期。- 第 5 条 rubric 写成：
输出表格中报废资产申请日期是否填写为当前日期（2026-04-07）。
影响：
在 2026-04-07 之后运行评测时，如果模型正确使用评测运行当天日期，仍可能因为 rubric 中写死的旧日期被判错。
建议的官方修复：
- 如果期望固定业务日期，应在
task中明确指定必须使用2026-04-07。 - 如果期望使用运行时当前日期，应将 rubric 改为动态表达，例如
评测运行当天日期，并由评测器在运行时解析为当天日期。
- Ngôn ngữ chính
- Python
- Star
- 72
- Fork
- 7
- Merge trung bình
- 7 phút
- Pull request đã merge (30 ngày)
- 6
Chuẩn bị môi trường
Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của OpenDataBox/Workspace-Bench
-
Possible untranslated Chinese DOCX content in the English split (Task 102 as a reproducible example)Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
OpenDataBox/Workspace-Bench#23 · 1 bình luận · 1 reaction ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100
OpenDataBox/Workspace-Bench#22 · 1 bình luận · 1 reaction ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100
OpenDataBox/Workspace-Bench#12 · 4 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
OpenDataBox/Workspace-Bench#11 · 1 bình luận ·
Tất cả issue của OpenDataBox/Workspace-Bench
Issue tương tự
-
correction metadata
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
acl-org/acl-anthology#10104 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug status/needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
prowler-cloud/prowler#12885 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Bug in GaussianTailProbabilityCalibrator: running_statistics=False still uses a windowed varianceĐang mởbug good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
selimfirat/pysad#107 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug ci-failure high priority
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
vllm-project/vllm-omni#8194 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày