[curriculum-eval] curriculum_assessment.py: checkpoint_quality and scaffolding — regex ignores :white_check_mark:/:clipboard: shortcodes
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 75/100
Hướng nghiên cứu
Trong .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, cập nhật CHECKPOINT_RE và các biểu thức chính quy has_prereq_section để khớp với cả tiêu đề emoji và shortcode GitHub. Kiểm tra các biểu thức chính quy dựa trên emoji khác trong tệp, sau đó chạy lại đánh giá trên workshop/*.md. Thêm một bài kiểm tra đơn vị bao phủ cả hai dạng; hoàn thành nghĩa là has_checkpoint là true cho các phần shortcode và các bài kiểm tra pass.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (this issue affects 92 of 94 pages)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 (92/94 pages) | ≥ 10 with ≥ 4 items | −10.0 |
| scaffolding | 5.0 (94/94 pages) | 10 | −5.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches ##\s+✅\s*Checkpoint and the scaffolding check matches ##\s+📋\s*Before You Start, but the workshop (per AGENTS.md) writes ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Result: has_checkpoint is false and has_prereq_section is false for nearly all pages even though the sections exist.
Evidence (quoted from the file):
## :white_check_mark: Checkpoint(workshop/side-quest-01-02-environment-reference.md line 155) and## :clipboard: Before You Start(line 9) are both flagged as missing;CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
Learning Science Rationale:
Valid measurement is a precondition for acting on Bloom's/Cognitive Load evidence: checkpoints support retrieval practice and scaffolding reduces extraneous load (Sweller). If the rubric reports them as absent everywhere, the 4.0-point (weight 2.0 × 10 + 1.5 × 5) penalty swamps real variance, causes false "missing_checkpoint" flags and agents may add duplicate sections.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE and the has_prereq_section regexes so they accept both the literal emoji and the GitHub shortcode forms: "## ✅ Checkpoint" or "## :white_check_mark: Checkpoint", and "## 📋 Before You Start" or "## :clipboard: Before You Start" (and "## Prerequisites"). Also check any other emoji-based regexes in the file (e.g. the bloom evidence "activity:checkpoint" cue and checklist-item counting scope). Re-run the assessment against workshop/*.md, confirm has_checkpoint is true for pages containing the shortcode heading, and add a small unit test or fixture covering both forms.
Expected Score After Fix: ~8.0 / 10.0 corpus mean (up from 6.06) once real checkpoints/prereqs are detected.
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~46 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Oct 26, 2026, 3:44 AM UTC
- Ngôn ngữ chính
- JavaScript
- Star
- 55
- Fork
- 36
- Merge trung bình
- 2 ngày 8 giờ
- Pull request đã merge (30 ngày)
- 17
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của githubnext/gh-aw-workshop
-
[workshop-sim] Improve: Strengthen practice and checkpoints in Step 05 (What Are Agentic Workflows?)Đang mởfeedback simulation workshop
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
githubnext/gh-aw-workshop#4972 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
feedback simulation workshop
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
githubnext/gh-aw-workshop#4971 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
curriculum documentation quality
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
githubnext/gh-aw-workshop#4969 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
curriculum documentation quality
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 85/100
githubnext/gh-aw-workshop#4966 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
curriculum documentation quality
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
githubnext/gh-aw-workshop#4965 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của githubnext/gh-aw-workshop
Issue tương tự
-
Link Checker ReportĐang mởautomated issue report
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 70/100
microsoft/playwright#43640 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
✏️ Editing - Tags
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
openfoodfacts/openfoodfacts-server#15127 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Add a dark mode toggleĐang mởenhancement good first issue hacktoberfest help wanted
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Andbal23/dynamic-music-pill#195 ·
Maintainer thường phản hồi trong vòng 1 ngày