Three CN Lite tasks have prompt/manifest inconsistencies (tasks 23, 127, and 386)
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 68/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- python
- Lĩnh vực
- data, testing-qa
Hướng nghiên cứu
So sánh data_manifest và file_dep_graph của CN Lite với các đầu vào được đóng gói và chỉ mục workspace đầy đủ cho các task 23, 127 và 386. Kiểm tra workbook bị thiếu của task 23, số lượng tệp Python của task 127, cũng như các bản chép lời và metadata được cung cấp cho task 386. Được coi là hoàn tất khi các prompt, manifest, đồ thị phụ thuộc và đầu vào mà solver có thể thấy đều mô tả nhất quán các tệp hiện có.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Summary
Three Chinese Workspace-Bench Lite tasks contain inconsistencies between their prompts, manifests, and the files available in the full workspace image:
opendatabox-workspace-bench-23opendatabox-workspace-bench-127opendatabox-workspace-bench-386
I checked each task's CN Lite metadata and packaged inputs, the complete filename index of filesys_cn.zip, and the repository's workspace construction logic.
1. Task 23: the current-inventory workbook is missing from the task manifest
The prompt asks the agent to correlate the stocktaking report, current inventory list, and inbound/outbound logs. However, the task's data_manifest and file_dep_graph omit:
当前库存物品总清单_2024-12.xlsx
The workbook does exist in the full CN workspace image at:
LogisticsManager_Workdir/后勤/库存/物品清单/当前库存物品总清单_2024-12.xlsx
The original runner normally copies the complete raw persona workspace before overlaying manifest files, so the file may remain visible in the original full-workspace evaluation. Nevertheless, the task package is not self-contained, the declared dependency graph is incomplete, and manifest-only conversions omit a source explicitly required by the prompt.
Suggested fix
Add the existing workbook to:
data_manifestfile_dep_graph- Any generated setup/input manifest or solver-visible input list
No workspace image rebuild should be necessary because the workbook is already present in filesys_cn.zip.
2. Task 127: prompt says 10 Python files, but only 8 exist
The prompt says:
测试项目文件夹的python目录下有10个python文件
However, all other sources consistently show 8 files:
- The Lite
data_manifestcontains 8 Python files. - The
file_dep_graphcontains 8 Python source nodes. - The packaged task data contains 8 Python files.
Research_Workdir/桌面/项目/测试项目/python/in the full CN image contains 8 Python files.- One rubric explicitly refers to all 8 Python files.
The files are:
data_process.pydatabase.pyimage.pymachine_learning.pyparsing.pyutils.pyvisualization.pyweb_network.py
Suggested fix
Change the task text from 10 Python files to 8. No image, manifest, dependency-graph, or rubric change is otherwise required.
3. Task 386: the prompt requires transcription of four absent .m4a recordings
The prompt describes four .m4a recordings and explicitly asks the system to perform:
音频→文字→结构化决策表
The complete CN workspace image contains no .m4a files. It contains only:
会议录音元数据.jsonD1_上午场_转写稿.txtD2_下午场_转写稿.txt- The five spreadsheet inputs used by the task
The metadata describes four recording sessions and marks ASR as completed for all four. It references four transcript paths, but only two transcript TXT files are actually supplied: D1 morning and D2 afternoon. The D1 afternoon and D2 morning transcript files are also absent.
The existing rubrics evaluate conclusions derived from the supplied transcripts, recording metadata, NPS survey, DAU logs, CRM data, and competitor report. They do not evaluate audio decoding or ASR execution.
Suggested fix
Revise the prompt to describe the supplied recording metadata and the available completed ASR transcripts, and remove the unsupported requirement to transcribe four recordings. To avoid implying that all four transcripts exist, wording such as the following would be accurate:
Analyze the supplied recording metadata and the available completed ASR transcripts.
Alternatively, add the four original .m4a files and the two missing transcript files if audio transcription is intended to remain part of the task.
Expected outcome
Please align these task prompts and manifests with the actual workspace inputs so that each task is self-contained and does not claim unavailable input files or incorrect file counts.
- Ngôn ngữ chính
- Python
- Star
- 72
- Fork
- 7
- Merge trung bình
- 7 phút
- Pull request đã merge (30 ngày)
- 6
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của OpenDataBox/Workspace-Bench
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
OpenDataBox/Workspace-Bench#24 · 1 bình luận · 1 reaction ·
-
Possible untranslated Chinese DOCX content in the English split (Task 102 as a reproducible example) Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
OpenDataBox/Workspace-Bench#23 · 1 bình luận · 1 reaction ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100
OpenDataBox/Workspace-Bench#12 · 4 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
OpenDataBox/Workspace-Bench#11 · 1 bình luận ·
Tất cả issue của OpenDataBox/Workspace-Bench
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
xinnan-tech/xiaozhi-fde-talk#263 ·
-
rules
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
huggingface/Repo2RLEnv#163 · 1 bình luận ·
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 95/100
huggingface/sentence-transformers#4074 ·
-
comp/dashboard invalid P3
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
NousResearch/hermes-agent#121143 ·