[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: shortcode, 92/94 pages scored as having no checkp

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#5,667 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
62/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
github-actions, markdown, python
Lĩnh vực
documentation, tooling

Hướng nghiên cứu

Bắt đầu từ .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py và tìm CHECKPOINT_RE cùng biểu thức chính quy has_prereq_section, vốn chỉ khớp với emoji viết trực tiếp. Sau đó kiểm tra gợi ý Bloom activity:checkpoint và NUMBERED_HDR_RE xem có cùng mẫu hay không. Để xác minh, dùng workshop/04-github-actions-intro.md: dòng 138 dùng shortcode ✅ và phải cho has_checkpoint=true. Hoàn thành khi một unit test với fixture shortcode chạy đạt và khi chạy lại đánh giá, kết quả báo checkpoint có mặt.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects every workshop/*.md)
Overall Score: 6.06 / 10.0 corpus mean (threshold 5.52)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 92/94 pages ≥ 4 items → 10 −10
scaffolding 5.0 on nearly all pages 10 when section present −5

Root Cause (≤ 2 sentences):
CHECKPOINT_RE = r"##\s+✅\s*Checkpoint" and the scaffolding regex ##\s+📋\s*Before You Start only match literal emoji, but the workshop (per AGENTS.md conventions) writes ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Pages are therefore scored as lacking checkpoints and prerequisites despite having them, cutting ~2–3 points from each overall score.

Evidence (quoted from the file):

workshop/04-github-actions-intro.md line 138: ## :white_check_mark: Checkpoint followed by 5 checklist items (scored has_checkpoint: false, checkpoint_quality: 0.0); line 21: ## :clipboard: Before You Start (scored has_prereq_section: false).

Learning Science Rationale:
Valid measurement is a precondition for applying Bloom's, Cognitive Load, or Mayer-based feedback. A false-negative checkpoint metric hides the real signal (retrieval-practice checkpoints, per the testing effect, are present) and sends agents to "fix" pages that are fine, while masking real weaknesses such as low activity density and word count over 800 on side-quest-01-02-environment-reference.md and 05-agentic-workflows-intro.md.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match "## ✅ Checkpoint" OR "## :white_check_mark: Checkpoint" (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE), and update the has_prereq_section regex to accept "## 📋 Before You Start" OR "## :clipboard: Before You Start" OR "## Prerequisites". Also check NUMBERED_HDR_RE/other emoji-dependent patterns and the Bloom "activity:checkpoint" cue use the same updated regex. Add a unit test with a fixture using the shortcode form. Re-run the assessment and confirm that pages like workshop/04-github-actions-intro.md report has_checkpoint=true and checkpoint_quality=10.

Expected Score After Fix: 8.0 / 10.0 corpus mean (up from 6.06)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~48 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 14, 2026, 6:04 AM UTC
Ngôn ngữ chính
JavaScript
Star
62
Fork
43
Merge trung bình
1 ngày 5 giờ
Pull request đã merge (30 ngày)
9

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của githubnext/gh-aw-workshop

Tất cả issue của githubnext/gh-aw-workshop

Issue tương tự

Thêm issue về JavaScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.