[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses `:white_check_mark:` shortcode, 92/94 pages falsely scored 0

Đã đóng Phù hợp với người mới
  • Có gì không ổn?
#5,321 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 3 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
74/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
tooling

Hướng nghiên cứu

Bắt đầu với .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py và kiểm tra CHECKPOINT_RE, việc phát hiện mục điều kiện tiên quyết, cùng các biểu thức chính quy phụ thuộc vào emoji khác được nhắc đến trong issue. Chạy đánh giá trên workshop/*.md và thêm một unit test nhỏ cho tiêu đề có emoji và shortcode. Hoàn tất khi phát hiện được cả hai dạng tiêu đề và các chỉ số bị ảnh hưởng phản ánh nội dung workshop.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects all workshop/*.md)
Overall Score: 6.06 / 10.0 corpus mean (understated)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 (92/94 pages) ≥ 7.5 (≥ 3 items) −7.5 or more
scaffolding 5.0 (94/94 pages) 10.0 −5.0

Root Cause (≤ 2 sentences):
CHECKPOINT_RE is ##\s+✅\s*Checkpoint and the prerequisite check is ##\s+📋\s*Before You Start, but workshop pages (per AGENTS.md conventions) use GitHub shortcodes :white_check_mark: and :clipboard:. Result: has_checkpoint and has_prereq_section are false everywhere, deflating scores by ~2–2.5 points and hiding real quality differences.

Evidence (quoted from the file):

## :white_check_mark: Checkpoint — workshop/04-github-actions-intro.md (5 checklist items), also present in 05-agentic-workflows-intro.md, side-quest-01-02-environment-reference.md, side-quest-11-06-anthropic-key.md, side-quest-17-07-repo-poisoning.md; and ## :clipboard: Before You Start in the same pages. Metrics report has_checkpoint: false, has_prereq_section: false for all of them.

Learning Science Rationale:
Valid measurement is a precondition for applying any instructional-design framework. Formative checkpoints support retrieval practice and the testing effect (Roediger & Karpicke), and "Before You Start" sections provide advance organisers (Ausubel) that reduce extraneous load. A rubric that cannot see these features will misdirect remediation toward content that already follows the best practice, and will also produce spurious trend swings (e.g. −2.00 on side-quest-11-09-agent-session-phases.md and side-quest-12-01-iterate-agent-output.md).

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE (line ~10) to match both the emoji and shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the has_prereq_section detection (line ~203) to match r"##\s+(?:📋|:clipboard:)\s*Before You Start" as well as "## Prerequisites". Check any other emoji-dependent regexes in the file (HEADING/learning-objective/activity cues). Re-run the assessment script against workshop/*.md, confirm has_checkpoint is true for pages containing "## :white_check_mark: Checkpoint", add a small unit test covering both forms, and report the new corpus mean and flagged findings.

Expected Score After Fix: ~8.0 / 10.0 corpus mean (from 6.06)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~47 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 5, 2026, 4:05 AM UTC
Ngôn ngữ chính
JavaScript
Star
58
Fork
40
Merge trung bình
4 ngày 4 giờ
Pull request đã merge (30 ngày)
8

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của githubnext/gh-aw-workshop

Tất cả issue của githubnext/gh-aw-workshop

Issue tương tự

Thêm issue về JavaScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.