[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses `:white_check_mark:` shortcode, 0/10 on every page

Đã đóng Phù hợp với người mới
  • Có gì không ổn?
#5,146 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
78/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
testing-qa

Hướng nghiên cứu

Bắt đầu với .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, đặc biệt là CHECKPOINT_RE, phần kiểm tra điều kiện tiên quyết và mã nhận diện hoạt động Bloom sử dụng mẫu checkpoint. So sánh các mẫu đó với tiêu đề shortcode được hiển thị trong issue, rồi thêm một unit test nhỏ bao quát cả dạng emoji lẫn shortcode. Chạy phép đánh giá trên workshop/*.md; hoàn tất khi các phần checkpoint và điều kiện tiên quyết được nhận diện, đồng thời báo cáo điểm theo từng trang được yêu cầu và điểm trung bình của toàn bộ corpus.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: affects all 94 pages (corpus mean 6.06; threshold 5.52)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 (all pages) ≥ 7.5 (≥ 3 items) −7.5 or worse
scaffolding 5.0 (all pages) 10 −5.0

Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches ##\s+✅\s*Checkpoint and the prerequisite check matches ##\s+📋\s*Before You Start, but workshop pages use the GitHub shortcodes ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Result: has_checkpoint and has_prereq_section are false everywhere, so missing_checkpoint is flagged on pages that have one (e.g. 04-github-actions-intro.md line 138, side-quest-11-06-anthropic-key.md line 109).

Evidence (quoted from the file):

## :white_check_mark: Checkpoint (workshop/04-github-actions-intro.md) vs. CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)

Learning Science Rationale:
A rubric is only a valid proxy for Bloom-aligned formative assessment if it measures the construct it claims to. Misclassifying present checkpoints as absent creates systematic construct-irrelevant error, hides genuine gaps (pages with weak checkpoints), and produces misleading trends such as the two −2.00 swings seen in the history window.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the has_prereq_section regex to accept r"##\s+(?:📋|:clipboard:)\s*Before You Start" as well as "## Prerequisites". Also check the Bloom activity-cue code near line 157 that uses CHECKPOINT_RE. Add a small unit test covering both forms, rerun the assessment over workshop/*.md, and report the new corpus mean and per-page checkpoint_quality scores. Do not change workshop content.

Expected Score After Fix: ~7.0 / 10.0 corpus mean (checkpoint +2.0 weight on 4+ item pages, scaffolding +1.5 weight)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~34 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Oct 31, 2026, 4:04 AM UTC
Ngôn ngữ chính
JavaScript
Star
56
Fork
40
Merge trung bình
2 ngày 15 giờ
Pull request đã merge (30 ngày)
14

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của githubnext/gh-aw-workshop

Tất cả issue của githubnext/gh-aw-workshop

Issue tương tự

Thêm issue về JavaScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.