[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: and :clipboard: shortcodes

Đang mở Phù hợp với người mới
#6,000 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
80/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
tooling

Hướng nghiên cứu

Bắt đầu trong .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py tại định nghĩa CHECKPOINT_RE, sau đó lần theo mọi nơi mà họ mẫu đó được tái sử dụng: regex has_prereq_section, bộ đếm mục checklist và tín hiệu Bloom activity:checkpoint. Khớp cả emoji nguyên văn lẫn các dạng shortcode :white_check_mark: / :clipboard:, sau đó chạy lại đánh giá trên workshop/*.md và xác nhận workshop/04-github-actions-intro.md báo cáo has_checkpoint: true với scaffolding 10, cùng với giá trị trung bình mới của corpus.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects all workshop/*.md)
Overall Score: 5.4 / 10.0 for the 5 flagged pages (corpus mean: 6.06)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 ≥ 10.0 (≥ 4 items) −10.0
scaffolding 5.0 10.0 −5.0

Root Cause (≤ 2 sentences):
CHECKPOINT_RE = r"##\s+✅\s*Checkpoint" and the prerequisite regex ##\s+📋\s*Before You Start require literal emoji, but the workshop writes ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Every flagged page reports has_checkpoint: false and checkpoint_quality: 0.0 even when it has 5–7 checklist items.

Evidence (quoted from the file):

## :white_check_mark: Checkpoint / - [ ] You labeled all five parts of the sample workflow above ... (workshop/04-github-actions-intro.md, lines 138–144), which the scorer reports as has_checkpoint: false.

Learning Science Rationale:
Valid assessment depends on instruments that measure the intended construct. A false 0 for checkpoint quality pushes learners' retrieval-practice checkpoints, which are the strongest formative-assessment signal in the lesson, out of view, and sends authors to fix content that is not broken. Fixing the scorer restores a reliable feedback loop for Bloom-aligned improvements.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the literal emoji and the shortcode form (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE), and update the has_prereq_section regex to match "## 📋 Before You Start" and "## :clipboard: Before You Start" as well as "## Prerequisites". Also check the checklist-item counting and the "activity:checkpoint" Bloom cue use the same pattern. Re-run the assessment, confirm that 04-github-actions-intro.md now has has_checkpoint=true and scaffolding=10, and report the new corpus mean and the updated findings list.

Expected Score After Fix: 6.9 / 10.0 for 04-github-actions-intro.md (corpus mean expected to rise by roughly 1–2 points)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~39 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 23, 2026, 4:03 AM UTC
Ngôn ngữ chính
JavaScript
Star
61
Fork
43
Merge trung bình
10 giờ 38 phút
Pull request đã merge (30 ngày)
12

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của githubnext/gh-aw-workshop

Tất cả issue của githubnext/gh-aw-workshop

Issue tương tự

Thêm issue về JavaScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.