Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: headings, false 0.0 scores

Đã đóng Phù hợp với người mới
  • Có gì không ổn?
#4,824 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
83/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
testing, tooling

Hướng nghiên cứu

Bắt đầu với .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py và kiểm tra CHECKPOINT_RE cùng bộ đếm mục checklist được dùng cho checkpoint_quality. So sánh hành vi của chúng với các tiêu đề :white_check_mark: trong những trang workshop được nêu. Hoàn tất khi cả hai kiểu tiêu đề đều được nhận diện, các mục checklist trong phần đó được đếm và năm trang được liệt kê không còn nhận cờ missing_checkpoint.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: 4.9 / 10.0 for the worst finding (corpus mean: 6.09)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 ≥ 4 items → 10 −10.0

Root Cause (≤ 2 sentences):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint") only matches the emoji, while workshop files use the ## :white_check_mark: Checkpoint shortcode (required by AGENTS.md). All 5 worst-scored pages (e.g. 04-github-actions-intro.md, side-quest-01-02-environment-reference.md) have real checkpoints with 5–7 items but score 0.0, so missing_checkpoint flags are false positives.

Evidence (quoted from the file):

✅ Checkpoint

  • You can identify on, jobs, and steps in a workflow file

Learning Science Rationale:
Retrieval-practice research (Roediger & Karpicke) supports end-of-step checkpoints, and the rubric should reward them. A metric that misses them mis-ranks content and sends remediation effort at pages that already follow the recommended pattern, undermining the evaluator's validity.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE so it matches both "## ✅ Checkpoint" and "## :white_check_mark: Checkpoint" (case-insensitive). Also confirm the checklist-item counter for checkpoint_quality counts items inside that section. Re-run the assessment over workshop/*.md and confirm missing_checkpoint is no longer flagged for 04-github-actions-intro.md, 05-agentic-workflows-intro.md, side-quest-01-02-environment-reference.md, side-quest-11-06-anthropic-key.md and side-quest-17-07-repo-poisoning.md. Report the new corpus mean and the remaining lowest-scoring pages.

Expected Score After Fix: ~6.9 / 10.0 for the worst pages (checkpoint_quality 0 → 10 adds about +2.0 overall); corpus mean rises by a similar amount.

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · 21.2 AIC · ⌖ 0.741 AIC · ⊞ 10.4K · ◷

  • expires on Oct 22, 2026, 4:43 AM UTC
Ngôn ngữ chính
JavaScript
Star
55
Fork
36
Merge trung bình
2 ngày 8 giờ
Pull request đã merge (30 ngày)
17

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của githubnext/gh-aw-workshop

Tất cả issue của githubnext/gh-aw-workshop

Issue tương tự

Thêm issue về JavaScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.