Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: shortcode, scoring 92/94 pages as having no check

Đã đóng Phù hợp với người mới
  • Có gì không ổn?
#5,068 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
74/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
testing, tooling

Hướng nghiên cứu

Bắt đầu với .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, đặc biệt là CHECKPOINT_RE và phần phát hiện điều kiện tiên quyết/scaffolding; so sánh chúng với các tiêu đề được trích dẫn trong workshop/04-github-actions-intro.md và workshop/side-quest-11-06-anthropic-key.md. Kiểm tra các biểu thức chính quy khác trong tệp đó phụ thuộc vào emoji, sau đó chạy phần đánh giá và thêm một unit test cho cả hai dạng tiêu đề. Hoàn tất khi các tiêu đề dạng shortcode được phát hiện và những trang được nêu không có checkpoint vẫn được báo cáo chính xác.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects all workshop/*.md scores)
Overall Score: n/a (rubric tooling defect; corpus mean 6.06)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 92/94 pages ≥ 10 (≥ 4 items) −10
scaffolding 5.0 on 94/94 pages 10 −5

Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches only a literal ✅ and the prerequisite detector does not match the :clipboard: Before You Start shortcode heading, but workshop files follow AGENTS.md and use :white_check_mark: and :clipboard:. As a result has_checkpoint=false and has_prereq_section=false even where both exist, which pulls every overall score down by roughly 2.5–3 points of weighted score and makes all "missing_checkpoint" findings false positives.

Evidence (quoted from the file):

CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)

Versus workshop/04-github-actions-intro.md line 138: ## :white_check_mark: Checkpoint (5 checklist items), and workshop/side-quest-11-06-anthropic-key.md line 109, same heading with 5 items. Both are reported has_checkpoint: false, checkpoint_quality: 0.0.

Learning Science Rationale:
Metrics only support decisions if they are valid measures of the construct. A rubric that scores a present retrieval-practice checkpoint as zero misdirects improvement effort, because it flags healthy pages and hides real gaps such as 00-welcome.md, 01-prerequisites.md and 06-install-gh-aw.md. Retrieval practice (Roediger & Karpicke) and scaffolding are the very constructs the checkpoint and prerequisite dimensions are meant to protect.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py:
1. Change CHECKPOINT_RE to also match the shortcode form, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE.
2. Update the prerequisite/scaffolding detection so that headings like "## :clipboard: Before You Start" and "## Prerequisites" both count (allow an optional leading emoji shortcode such as :clipboard:).
3. Check any other emoji-dependent regexes in the file for the same shortcode issue.
4. Re-run the assessment over workshop/*.md and confirm that has_checkpoint is true for every page except those that genuinely lack one (00-welcome.md, 01-prerequisites.md, 06-install-gh-aw.md, side-quest-13-01, side-quest-13-02) and that has_prereq_section is true for pages with "Before You Start".
5. Add a small unit test covering both heading forms.

Expected Score After Fix: ~8.0 / 10.0 corpus mean (up from 6.06), with the 5 flagged pages mostly clearing the threshold.

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~37 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Oct 29, 2026, 4:04 AM UTC
Ngôn ngữ chính
JavaScript
Star
56
Fork
40
Merge trung bình
2 ngày 7 giờ
Pull request đã merge (30 ngày)
16

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của githubnext/gh-aw-workshop

Tất cả issue của githubnext/gh-aw-workshop

Issue tương tự

Thêm issue về JavaScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.