[curriculum-eval] curriculum_assessment.py: checkpoint_quality — emoji-only regex scores shortcode checkpoints as missing
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 78/100
Hướng nghiên cứu
Bản sửa nằm trong .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, ở phần định nghĩa CHECKPOINT_RE và regex Before-You-Start, hiện chỉ khớp với emoji dạng ký tự. Bắt đầu bằng việc đọc hai mẫu này và một trang như workshop/04-github-actions-intro.md, trang dùng shortcode :white_check_mark:. Hoàn thành khi cả hai regex đều chấp nhận dạng emoji và dạng shortcode, các unit test mới bao phủ cả hai, và lần chạy lại báo has_checkpoint là true cho trang đó.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.09 / 10.0 (all pages affected)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 90/93 pages | ≥ 7.5 (checkpoint with ≥ 3–4 items) | up to −10 |
| scaffolding | 5.0 on 93/93 pages | 10 | −5 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE (##\s+✅\s*Checkpoint) and the Before-You-Start regex (##\s+📋\s*Before You Start) require literal emoji, but workshop pages use GitHub shortcodes (## :white_check_mark: Checkpoint, ## :clipboard: Before You Start), so detection always fails. Result: every non-dispatcher page is penalised ~2.5–3 points of weighted score and findings such as missing_checkpoint are false positives.
Evidence (quoted from the file):
workshop/04-github-actions-intro.md: "## ✅ Checkpoint" followed by 5 checklist items — scoredhas_checkpoint: false,checkpoint_quality: 0.0.
Learning Science Rationale:
Valid measurement is a precondition for acting on Cognitive Load Theory and retrieval-practice findings: checkpoints are a retrieval-practice mechanism (Roediger & Karpicke), so a rubric that reports them absent misdirects effort toward pages that already comply and hides real gaps (e.g. only 3 pages truly lack checkpoints: 00-welcome, 01-prerequisites, 06-install-gh-aw).
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and shortcode forms: r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the "Before You Start" regex to r"##\s+(?:📋|:clipboard:)\s*Before You Start". Add unit tests covering both forms, rerun the assessment over workshop/*.md, and confirm has_checkpoint is true for pages like 04-github-actions-intro.md and has_prereq_section is true where "## :clipboard: Before You Start" exists. Also check other emoji-based regexes in the file for the same shortcode mismatch.
Expected Score After Fix: ~7.8 / 10.0 corpus mean (from 6.09)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · 25.5 AIC · ⌖ 0.831 AIC · ⊞ 10.4K · ◷
- expires on Oct 15, 2026, 6:54 AM UTC
- Ngôn ngữ chính
- JavaScript
- Star
- 53
- Fork
- 35
- Merge trung bình
- 13 giờ 50 phút
- Pull request đã merge (30 ngày)
- 14
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của githubnext/gh-aw-workshop
-
documentation
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
githubnext/gh-aw-workshop#4569 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
documentation
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
githubnext/gh-aw-workshop#4568 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
accessibility bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
githubnext/gh-aw-workshop#4555 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
documentation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
githubnext/gh-aw-workshop#4548 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
documentation
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 66/100
githubnext/gh-aw-workshop#4549 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của githubnext/gh-aw-workshop
Issue tương tự
-
Awaiting Maintainer Approval Bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
processing/p5.js-web-editor#4364 ·
Maintainer thường phản hồi trong vòng 4 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
woocommerce/woocommerce-google-analytics-integration#699 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 Dưới một giờ Mức phù hợp với người mới 74/100
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
JsCommunity/app-conf#22 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
Maintainer thường phản hồi trong vòng 1 ngày