[workshop-sim] Repair: Fix checkpoint_quality rubric detection to recognize :white_check_mark: emoji shortcode
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 73/100
Hướng nghiên cứu
Đọc .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py và kiểm tra CHECKPOINT_RE. Cập nhật phần phát hiện để nhận diện cả dấu kiểm Unicode lẫn shortcode :white_check_mark:, sau đó chạy script đánh giá trên tập ngữ liệu. Hoàn tất khi các bước bị ảnh hưởng có điểm chất lượng checkpoint khác không và Markdown của workshop không thay đổi.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Problem statement
Every one of the 30 workshop steps scores checkpoint_quality: 0.0 in curriculum-quality-metrics.json, despite ~90 occurrences of well-formed ## :white_check_mark: Checkpoint sections with checklist items across the workshop. The shared rubric's detection regex (CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE) in .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py) only matches the literal Unicode ✅ character, but every workshop file uses the GitHub emoji shortcode :white_check_mark: instead. This is a learning barrier classification issue at the tooling level: it does not change actual instructional content, but it silently zeroes out the checkpoint_quality dimension for the entire corpus, which distorts every downstream repair-prioritization decision (including this very simulation run) that relies on checkpoint_quality or the learning KPI index.
Proposed change
Update CHECKPOINT_RE to also match the :white_check_mark: shortcode form, e.g. re.compile(r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE), and re-run the assessment script against the corpus to confirm checkpoint_quality scores reflect the real checklist content (checklist_items * 2.5, capped at 10).
Failure mode classification
Learning barrier (measurement/tooling gap that currently masks true checkpoint scaffolding quality across the corpus — fixing it does not change content, it corrects the signal used to evaluate content).
Quantitative guardrail
This is a rubric/tooling fix, not a content edit, so there is no single affected step's overall_score to hold flat — the expected effect is that checkpoint_quality scores rise from 0.0 toward values reflecting each step's actual checklist_items count (observed range in the corpus suggests meaningful positive scores once fixed), which will raise overall_score for every step that already has a ## :white_check_mark: Checkpoint section with checklist items, and raise the cohort-wide learning KPI index. No content, scaffolding, or active-learning material is removed or altered by this change.
Acceptance criteria
- The shared curriculum quantitative assessment
overall_scorefor every affected step (all 30 main steps) stays flat or improves after the regex fix is applied and the assessment is re-run - The learning KPI index
(2.0 × active_learning + 2.0 × checkpoint_quality + 1.5 × scaffolding) / 5.5improves cohort-wide once checkpoint_quality reflects real checklist content (current cohort mean is artificially capped at 2.87/10 by the 0.0 checkpoint_quality floor) - No workshop markdown content is modified as part of this fix — only the detection regex in
curriculum_assessment.pychanges, verified by runninggit diffagainstworkshop/ - Re-running
curriculum_assessment.pyagainst the corpus produces non-zerocheckpoint_qualityvalues for the ~90 files containing## :white_check_mark: Checkpointsections
Suggested owner
copilot coding agent (small, well-scoped regex fix plus re-running the existing assessment script; no judgment calls about content needed)
Related to #4453
Generated by 🔬 Workshop Student Simulator · copilot · auto · 236.2 AIC · ⌖ 7.07 AIC · ⊞ 15.1K · ◷
- expires on Oct 12, 2026, 8:03 AM UTC
- Ngôn ngữ chính
- JavaScript
- Star
- 55
- Fork
- 36
- Merge trung bình
- 2 ngày 8 giờ
- Pull request đã merge (30 ngày)
- 17
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của githubnext/gh-aw-workshop
-
[workshop-sim] Improve: Strengthen practice and checkpoints in Step 05 (What Are Agentic Workflows?)Đang mởfeedback simulation workshop
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
githubnext/gh-aw-workshop#4972 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
feedback simulation workshop
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
githubnext/gh-aw-workshop#4971 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
curriculum documentation quality
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
githubnext/gh-aw-workshop#4969 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
curriculum documentation quality
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 85/100
githubnext/gh-aw-workshop#4966 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
curriculum documentation quality
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
githubnext/gh-aw-workshop#4964 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của githubnext/gh-aw-workshop
Issue tương tự
-
bug confirmed issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
open-webui/open-webui#33196 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
area: apple-music area: build-release bug effort: small priority: high
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
ChristianTabor/Argon#32 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
0️⃣ phase/new
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100