[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: and :clipboard: shortcodes, mis-scoring 92/94 pag
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 72/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- github-actions, python
- Lĩnh vực
- content, testing-qa
Hướng nghiên cứu
Đọc .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, đặc biệt là CHECKPOINT_RE, bước kiểm tra điều kiện tiên quyết và checklist_items. So sánh các mẫu đó với tiêu đề trong workshop/04-github-actions-intro.md, sau đó kiểm tra các bài kiểm thử đơn vị liên quan. Hoàn tất khi cả tiêu đề có emoji lẫn tiêu đề có shortcode đều được nhận diện, và kết quả đánh giá báo cáo các checkpoint trên những trang có chứa chúng.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a — affects all 94 pages (corpus mean: 6.06)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 92/94 pages | ≥ 10 when ≥ 4 items | −10 |
| scaffolding | 5.0 on 94/94 pages | 10 when section present | −5 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE is ##\s+✅\s*Checkpoint and the prereq check uses ##\s+📋\s*Before You Start, but workshop files use the GitHub shortcodes :white_check_mark: and :clipboard:. Metrics show has_checkpoint=true on only 2 pages and has_prereq_section=true on 0, while pages such as 04-github-actions-intro.md have both sections.
Evidence (quoted from the file):
## :white_check_mark: Checkpoint...- [ ] You can identifyon,jobs, andstepsin a workflow file(fromworkshop/04-github-actions-intro.md, flaggedmissing_checkpoint)
Learning Science Rationale:
A measurement instrument must be valid before its output guides instruction: a systematic false negative on checkpoints (retrieval-practice and formative-assessment prompts, which Bloom-style mastery learning relies on) misdirects authors toward fixing non-problems and hides real gaps. It also distorts trend data — side-quest-11-09-agent-session-phases.md and side-quest-12-01-iterate-agent-output.md each dropped exactly 2.00 (the checkpoint weight) in the history window, consistent with a heading-format change rather than a content change.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and the shortcode heading forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the has_prereq_section regex to accept "##\s+(?:📋|:clipboard:)\s*Before You Start" as well as "##\s+Prerequisites". Check how checklist_items is counted so it also works for the shortcode form. Add/extend unit tests covering both forms, then re-run the assessment against workshop/ and confirm has_checkpoint is true for every page that contains a Checkpoint heading (all except 00-welcome, 01-prerequisites, 06-install-gh-aw, README) and that the corpus mean rises by about 2 points.
Expected Score After Fix: ~8.0 / 10.0 corpus mean (from 6.06; +2.0 checkpoint, up to +0.75 scaffolding)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~42 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Oct 29, 2026, 3:35 AM UTC
- Ngôn ngữ chính
- JavaScript
- Star
- 56
- Fork
- 40
- Merge trung bình
- 2 ngày 15 giờ
- Pull request đã merge (30 ngày)
- 14
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của githubnext/gh-aw-workshop
-
feedback simulation workshop
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
githubnext/gh-aw-workshop#5157 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
feedback simulation workshop
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
githubnext/gh-aw-workshop#5156 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[workshop-sync] workshop/side-quest-13-02-pr-summary-pattern.md: agent job uses write permissionĐang mởdocumentation
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
githubnext/gh-aw-workshop#5153 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[workshop-sync] workshop/side-quest-13-01-pr-labeler-pattern.md: agent job uses write permissionĐang mởdocumentation
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
githubnext/gh-aw-workshop#5154 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
curriculum documentation quality
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
githubnext/gh-aw-workshop#5146 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của githubnext/gh-aw-workshop
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
solana-foundation/solana-web3.js#4015 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
gramps-project/gramps-web#1604 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement good first issue hacktoberfest help wanted
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
BinaryBaconLabs/todo-app#18 ·
-
Cache airport lookupsĐang mởenhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
sutantyo/flight-watch#32 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày