[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: shortcode, 93/95 pages mis-scored
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 78/100
Hướng nghiên cứu
Đọc .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, tập trung vào CHECKPOINT_RE và has_prereq_section, sau đó kiểm tra xem có unit test nào bao quát các mẫu này không. Chạy đánh giá trên workshop/*.md và so sánh kết quả với các tiêu đề shortcode đã được báo cáo. Hoàn tất khi cả tiêu đề emoji lẫn tiêu đề shortcode đều được nhận diện, ## Prerequisites vẫn được hỗ trợ và chỉ hai trang dự kiến bị đánh dấu là thiếu checkpoint.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects all workshop/*.md)
Overall Score: n/a (corpus mean: 6.06)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 93 pages (reported coverage 2/95) | ≥ 4 items → 10.0 | −10.0 |
| scaffolding | 5.0 on 95 pages (reported coverage 0/95) | section present → 10.0 | −5.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE = r"##\s+✅\s*Checkpoint" and the Before You Start check (##\s+📋\s*Before You Start) match literal emoji, but the workshop uses GitHub shortcodes (## :white_check_mark: Checkpoint, ## :clipboard: Before You Start). A grep shows 93 of 95 files contain the shortcode checkpoint heading, so missing_checkpoint is a false positive nearly everywhere.
Evidence (quoted from the file):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
(workshop/04-github-actions-intro.md)
## :white_check_mark: Checkpoint
Learning Science Rationale:
Formative-assessment checkpoints and advance organisers (Ausubel) are well supported by the workshop content; a validity error in the measurement instrument hides that and misdirects improvement effort toward problems that do not exist. Scores are depressed by about 2.0 (checkpoint, weight 2.0) plus 0.5 (scaffolding, weight 1.5) per page, so real ranking and trend signals are drowned out.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and the shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the has_prereq_section regexes to accept both "📋" and ":clipboard:" before "Before You Start". Keep "## Prerequisites" support. Add/adjust unit tests if present, rerun the assessment over workshop/*.md, and report the new mean score and the number of pages still flagged missing_checkpoint (expected: 2). Do not edit workshop content.
Expected Score After Fix: corpus mean ~8.0 / 10.0 (up from 6.06)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~48 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Nov 20, 2026, 8:04 AM UTC
- Ngôn ngữ chính
- JavaScript
- Star
- 61
- Fork
- 43
- Merge trung bình
- 11 giờ 26 phút
- Pull request đã merge (30 ngày)
- 13
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của githubnext/gh-aw-workshop
-
feedback simulation workshop
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
githubnext/gh-aw-workshop#5896 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
curriculum documentation quality
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
githubnext/gh-aw-workshop#5895 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[curriculum-eval] side-quest-11-06-anthropic-key.md: cognitive_load — 26 concepts in a setup recipeĐang mởcurriculum documentation quality
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 83/100
githubnext/gh-aw-workshop#5894 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[curriculum-eval] side-quest-17-07-repo-poisoning.md: cognitive_load — 23 concepts in 1234 wordsĐang mởcurriculum documentation quality
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
githubnext/gh-aw-workshop#5892 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
curriculum documentation quality
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
githubnext/gh-aw-workshop#5891 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của githubnext/gh-aw-workshop
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 66/100
fmhy/edit#7340 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Edit: Tele1 Logo [SV]Đang mởcheck:passed logos:edit
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
db-d1-sqlite: upsert is aliased to updateOne, so payload.kv.set never inserts new keysCó thể đã có người làm @pcbeingused333 đã nhận hôm nay. Đang mởBug db: d1-sqlite Payload OSS
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
payloadcms/payload#19766 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Type: Bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
inverse-inc/packetfence#9707 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
newrelic/node-newrelic#4503 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày