[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regexes miss :white_check_mark: and :clipboard: headings (93/95 pages scored 0)

Đang mở Phù hợp với người mới
#5,779 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
76/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
tooling

Hướng nghiên cứu

Bắt đầu với .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py và kiểm tra CHECKPOINT_RE cùng các bước kiểm tra phần điều kiện tiên quyết; so sánh các mẫu của chúng với ví dụ tiêu đề trong workshop/04-github-actions-intro.md. Chạy đánh giá trên workshop/*.md và kiểm tra xem các tiêu đề checkpoint và điều kiện tiên quyết có được phát hiện như mô tả hay không. Hoàn thành khi các dạng tiêu đề shortcode và emoji được nhận diện, đồng thời có một bài kiểm thử tập trung bao quát các biến thể shortcode; issue yêu cầu không chỉnh sửa các tệp workshop.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (measurement artifact)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 93/95 pages ≥ 10 with ≥ 4 items −10
scaffolding 5.0 on 95/95 pages 10 −5

Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches ##\s+✅\s*Checkpoint and the prerequisites check matches ##\s+📋\s*Before You Start, but workshop headings are written ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Every page therefore reports has_checkpoint: false and has_prereq_section: false, costing roughly 2.75 points per page.

Evidence (quoted from the file):

CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE) versus ## :white_check_mark: Checkpoint in workshop/04-github-actions-intro.md

Learning Science Rationale:
Metrics that do not discriminate real quality undermine feedback loops. Retrieval practice (Roediger & Karpicke) depends on checkpoints actually existing, and the evaluator cannot reward or detect them. A valid rubric is a precondition for any Bloom or Cognitive Load analysis, since the current uniform ~6.0 scores hide true differences between pages.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and the GitHub shortcode form (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint"), and update the has_prereq_section regexes to match "## 📋 Before You Start", "## :clipboard: Before You Start", and "## Prerequisites". Re-run the assessment over workshop/*.md and confirm has_checkpoint is true for all pages that contain a checkpoint heading (expected 93/95) and has_prereq_section is true for pages with a Before You Start heading. Check any existing tests still pass and add a small test for the shortcode variants. Do not edit workshop files.

Expected Score After Fix: corpus mean rises from 6.06 to approximately 8.0–8.8 / 10.0; the remaining low scorers will then reflect real length and active-learning gaps.

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~47 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 17, 2026, 3:38 AM UTC
Ngôn ngữ chính
JavaScript
Star
62
Fork
43
Merge trung bình
11 giờ 26 phút
Pull request đã merge (30 ngày)
13

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của githubnext/gh-aw-workshop

Tất cả issue của githubnext/gh-aw-workshop

Issue tương tự

Thêm issue về JavaScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.