[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses `:white_check_mark:` shortcode, zeroing scores
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 72/100
Hướng nghiên cứu
Bắt đầu từ .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, nơi định nghĩa CHECKPOINT_RE (khoảng dòng 10) và regex has_prereq_section. Kiểm tra cách đếm các mục checkpoint và cách phát hiện activity:checkpoint, sau đó xác nhận với workshop/04-github-actions-intro.md, file này dùng tiêu đề có :white_check_mark:. Công việc hoàn tất khi cả dạng emoji lẫn dạng shortcode đều khớp, các unit test bao phủ cả hai, và không có trang nào có tiêu đề Checkpoint bị đánh dấu missing_checkpoint.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: 5.4 / 10.0 for the flagged pages (corpus mean: 6.1)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 | ≥ 4 checklist items → 10 | -10.0 |
| scaffolding | 5.0 | "Before You Start" present → 10 | -5.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches the literal ✅ emoji and the prerequisite regex matches 📋, but workshop files use the :white_check_mark: and :clipboard: shortcodes required by the repo conventions. All 5 findings are flagged missing_checkpoint even though the pages (e.g. 04-github-actions-intro.md, 05-agentic-workflows-intro.md, side-quest-11-06-anthropic-key.md, side-quest-17-07-repo-poisoning.md, side-quest-01-02-environment-reference.md) contain checkpoint sections.
Evidence (quoted from the file):
## :white_check_mark: Checkpoint(workshop/04-github-actions-intro.md, line 138, followed by 5 checklist items) versusCHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)(curriculum_assessment.py, line 10)
Learning Science Rationale:
Valid measurement underpins any evidence-based curriculum review. Retrieval-practice checkpoints (Roediger & Karpicke) are a high-value feature, and penalising pages that already have them misdirects improvement effort and hides the real weaknesses: concept overload (Sweller's Cognitive Load Theory) on 04-github-actions-intro.md (28 concepts) and side-quest-11-06-anthropic-key.md (26), and low activity density on long pages.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and the shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the has_prereq_section regex to accept "##\s+(?:📋|:clipboard:)\s*Before You Start" as well as "## Prerequisites". Also check the "activity:checkpoint" evidence detection and checklist-item counting scope so that checkpoint items are counted. Add unit tests with sample text for both forms, rerun the assessment, and confirm no file with a ":white_check_mark: Checkpoint" heading is flagged missing_checkpoint.
Expected Score After Fix: 7.0 / 10.0 for the five flagged pages (checkpoint_quality 10.0, scaffolding 10.0 where "Before You Start" exists)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · 22.6 AIC · ⌖ 0.753 AIC · ⊞ 10.4K · ◷
- expires on Oct 15, 2026, 12:55 PM UTC
- Ngôn ngữ chính
- JavaScript
- Star
- 53
- Fork
- 35
- Merge trung bình
- 1 ngày 5 giờ
- Pull request đã merge (30 ngày)
- 16
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của githubnext/gh-aw-workshop
-
[workshop-sync] workshop/side-quest-17-06-output-injection.md: stale add_comment.cjs line referencesĐang mởdocumentation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
githubnext/gh-aw-workshop#4679 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
curriculum documentation quality
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
githubnext/gh-aw-workshop#4673 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
githubnext/gh-aw-workshop#4672 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
documentation guidelines
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
githubnext/gh-aw-workshop#4670 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[guidelines] side-quest-11-05-event-triggers.md: [!IMPORTANT] used for non-blocking informationĐang mởdocumentation guidelines
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 83/100
githubnext/gh-aw-workshop#4669 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của githubnext/gh-aw-workshop
Issue tương tự
-
BUG
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
Maintainer thường phản hồi trong vòng 1 ngày
-
type/bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 75/100
flarum/framework#5231 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
apache/rocketmq-dashboard#6896 ·
Maintainer thường phản hồi trong vòng 3 ngày
-
bug good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Defining a property through a deferred module namespace whose module failed to evaluate leaks the property descriptorCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mởbug engine
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
frostney/GocciaScript#1746 ·
Maintainer thường phản hồi trong vòng 1 ngày