[curriculum-eval] curriculum_assessment.py: checkpoint_quality — emoji regexes miss :white_check_mark: headings, 92/94 pages scored 0

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#5,434 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 3 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
82/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
github-actions, python
Lĩnh vực
data, testing

Hướng nghiên cứu

Đọc .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, tập trung vào CHECKPOINT_RE, regex cho tiêu đề điều kiện tiên quyết và dấu hiệu Bloom activity:checkpoint. Bổ sung kiểm thử cho tiêu đề có emoji và dạng shortcode, sau đó chạy lại quá trình đánh giá và kiểm tra xem ít nhất 90 tệp báo cáo checkpoint và 85 tệp báo cáo các phần điều kiện tiên quyết. Issue yêu cầu không chỉnh sửa nội dung workshop.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a (affects all 94 pages) (corpus mean: 6.06)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 92/94 pages ≥ 4 items → 10 −10
scaffolding 5.0 on 94/94 pages 10 if section present −5

Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches the literal ✅ emoji and the prerequisite regex matches literal 📋, but workshop headings use the GitHub shortcodes :white_check_mark: and :clipboard:. A grep confirms 92 workshop files contain :white_check_mark: Checkpoint and 87 contain :clipboard: Before You Start, yet the report shows has_checkpoint=true for only 2 and has_prereq_section=true for none.

Evidence (quoted from the file):

CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE) ... re.search(r"##\s+📋\s*Before You Start", raw, re.IGNORECASE)

Learning Science Rationale:
Valid measurement is a precondition for evidence-based improvement. Systematic false negatives deflate the weighted overall score by ~1.8 points (checkpoint 2.0 weight × 10, scaffolding 1.5 weight × 5), hide the real drivers described by Cognitive Load Theory (length, concept count) and Mayer's coherence/segmenting principles, and cause spurious trend swings (e.g. two pages dropped 2.00 points in history when a heading changed form).

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both "## ✅ Checkpoint" and "## :white_check_mark: Checkpoint", and update the has_prereq_section regex to match both "## 📋 Before You Start" and "## :clipboard: Before You Start" (plus "## Prerequisites"). Use alternation, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint". Also apply the same fix to the bloom "activity:checkpoint" cue. Re-run the assessment and confirm has_checkpoint is true for ≥ 90 files and has_prereq_section for ≥ 85 files. Add or update a unit test covering both heading forms. Do not edit workshop content.

Expected Score After Fix: ~7.9 / 10.0 corpus mean (up ~1.8)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~48 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 8, 2026, 3:03 AM UTC
Ngôn ngữ chính
JavaScript
Star
58
Fork
40
Merge trung bình
4 ngày 4 giờ
Pull request đã merge (30 ngày)
8

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của githubnext/gh-aw-workshop

Tất cả issue của githubnext/gh-aw-workshop

Issue tương tự

Thêm issue về JavaScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.