[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: shortcode, 93/95 pages mis-scored

Đang mở Phù hợp với người mới
#5,893 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
78/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
github-actions, python
Lĩnh vực
data, testing

Hướng nghiên cứu

Đọc .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, tập trung vào CHECKPOINT_RE và has_prereq_section, sau đó kiểm tra xem có unit test nào bao quát các mẫu này không. Chạy đánh giá trên workshop/*.md và so sánh kết quả với các tiêu đề shortcode đã được báo cáo. Hoàn tất khi cả tiêu đề emoji lẫn tiêu đề shortcode đều được nhận diện, ## Prerequisites vẫn được hỗ trợ và chỉ hai trang dự kiến bị đánh dấu là thiếu checkpoint.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects all workshop/*.md)
Overall Score: n/a (corpus mean: 6.06)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 93 pages (reported coverage 2/95) ≥ 4 items → 10.0 −10.0
scaffolding 5.0 on 95 pages (reported coverage 0/95) section present → 10.0 −5.0

Root Cause (≤ 2 sentences):
CHECKPOINT_RE = r"##\s+✅\s*Checkpoint" and the Before You Start check (##\s+📋\s*Before You Start) match literal emoji, but the workshop uses GitHub shortcodes (## :white_check_mark: Checkpoint, ## :clipboard: Before You Start). A grep shows 93 of 95 files contain the shortcode checkpoint heading, so missing_checkpoint is a false positive nearly everywhere.

Evidence (quoted from the file):

CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)

(workshop/04-github-actions-intro.md) ## :white_check_mark: Checkpoint

Learning Science Rationale:
Formative-assessment checkpoints and advance organisers (Ausubel) are well supported by the workshop content; a validity error in the measurement instrument hides that and misdirects improvement effort toward problems that do not exist. Scores are depressed by about 2.0 (checkpoint, weight 2.0) plus 0.5 (scaffolding, weight 1.5) per page, so real ranking and trend signals are drowned out.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and the shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the has_prereq_section regexes to accept both "📋" and ":clipboard:" before "Before You Start". Keep "## Prerequisites" support. Add/adjust unit tests if present, rerun the assessment over workshop/*.md, and report the new mean score and the number of pages still flagged missing_checkpoint (expected: 2). Do not edit workshop content.

Expected Score After Fix: corpus mean ~8.0 / 10.0 (up from 6.06)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~48 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 20, 2026, 8:04 AM UTC
Ngôn ngữ chính
JavaScript
Star
61
Fork
43
Merge trung bình
11 giờ 26 phút
Pull request đã merge (30 ngày)
13

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của githubnext/gh-aw-workshop

Tất cả issue của githubnext/gh-aw-workshop

Issue tương tự

Thêm issue về JavaScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.