[curriculum-eval] curriculum_assessment.py: checkpoint_quality/scaffolding — regexes miss :white_check_mark: and :clipboard: shortcodes (92/94 fal

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#5,512 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
76/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
github-actions, markdown, python
Lĩnh vực
testing, tooling

Hướng nghiên cứu

Đọc .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, tập trung vào CHECKPOINT_RE, regex của phần điều kiện tiên quyết và score_checkpoint_quality. Kiểm tra cách đếm checklist_items và liệu các bài kiểm thử có bao quát tiêu đề shortcode hay không. Chạy đánh giá trên workshop/; công việc hoàn tất khi các tiêu đề shortcode được phát hiện, số mục checklist khớp với phần dự kiến và hầu hết các trang học tập báo cáo có cả hai phần.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects every workshop/*.md)
Overall Score: 6.06 / 10.0 corpus mean (flag threshold 5.52)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 92/94 pages ≥ 4 items → 10 -10.0
scaffolding 5.0 on 94/94 pages section present → 10 -5.0

Root Cause (≤ 2 sentences):
CHECKPOINT_RE = r"##\s+✅\s*Checkpoint" and the prereq regex ##\s+📋\s*Before You Start match literal emoji, but workshop files use GitHub shortcodes (## :white_check_mark: Checkpoint, ## :clipboard: Before You Start) per repository conventions. Every page therefore scores 0 for checkpoints and 5 for scaffolding, and the missing_checkpoint finding is a false positive.

Evidence (quoted from the file):

## :white_check_mark: Checkpoint followed by five - [ ] items (workshop/04-github-actions-intro.md, lines 138–143), yet it is reported with has_checkpoint: false, checkpoint_quality: 0.0.

Learning Science Rationale:
Valid measurement is a precondition for acting on Bloom/CLT findings: a rubric that scores retrieval-practice checkpoints (Roediger & Karpicke's testing effect) as absent gives authors no signal about real checkpoint quality, and masks genuine differences between pages. Fixing detection should raise the corpus mean by roughly 2 points and make remaining flags (concept overload, length, active learning) meaningful.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE and the has_prereq_section regexes so they match both the literal emoji and the GitHub shortcode forms: "## ✅ Checkpoint" and "## :white_check_mark: Checkpoint"; "## 📋 Before You Start" and "## :clipboard: Before You Start". Also confirm checklist_items is counted only from the checkpoint section if that is the intended behavior for score_checkpoint_quality. Re-run the assessment against workshop/ and verify that most learning pages now report has_checkpoint=true and has_prereq_section=true, then update any tests/docs for the skill.

Expected Score After Fix: 8.0 / 10.0 corpus mean (approx.; checkpoint +~1.6 and scaffolding +~0.8 weighted)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~39 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 10, 2026, 4:04 AM UTC
Ngôn ngữ chính
JavaScript
Star
58
Fork
40
Merge trung bình
1 ngày 22 giờ
Pull request đã merge (30 ngày)
7

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của githubnext/gh-aw-workshop

Tất cả issue của githubnext/gh-aw-workshop

Issue tương tự

Thêm issue về JavaScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.