[curriculum-eval] curriculum_assessment.py: checkpoint_quality — detector misses ":white_check_mark: Checkpoint" and ":clipboard: Before You Start
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
打开 .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py，查看 CHECKPOINT_RE 以及设置 has_prereq_section 的函数；这两者目前都只匹配字面 emoji 标题。放宽模式以接受 issue 中列出的 shortcode 和 emoji 变体，然后检查该模块是否已有可扩展的测试文件，并为每种标题形式添加用例。完成的标准是单元测试通过，并且对 workshop/ 重新运行后，对 93+ 个页面报告 has_checkpoint: true，同时没有编辑任何 workshop 内容。
由索引模型根据 Issue 内容生成。
描述
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a (affects 93/95 pages; corpus mean 6.06)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 93 pages | ≥ 4 items → 10 | −10 |
| scaffolding | 5.0 on 95 pages | section present → 10 | −5 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE = r"##\s+✅\s*Checkpoint" requires the literal emoji, but workshop pages use the GitHub shortcode ## :white_check_mark: Checkpoint; likewise has_prereq_section is false for every page despite ## :clipboard: Before You Start. Only 2 pages (side-quest-13-01, side-quest-13-02) use the literal emoji, which is why they top the ranking at 8.4–8.6.
Evidence (quoted from the file):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)(e.g.
workshop/04-github-actions-intro.md:## :white_check_mark: Checkpointfollowed by 5 checklist items, yethas_checkpoint: false)
Learning Science Rationale:
Valid measurement underpins any evidence-based evaluation: a rubric that scores a present formative-assessment checkpoint as zero misdirects improvement effort (Goodhart's law) and hides real gaps such as cognitive overload (Sweller) and low activity density behind a uniform ~2.75-point penalty.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match "## :white_check_mark: Checkpoint", "## ✅ Checkpoint" and "## ✅Checkpoint" (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint"). Also update the prerequisite/scaffolding detection so headings like "## :clipboard: Before You Start", "## 📋 Before You Start" and "Prerequisites" all count. Add unit tests for each heading variant, rerun the assessment over workshop/, and confirm 93+ pages now report has_checkpoint=true. Do not edit workshop content.
Expected Score After Fix: ~8.6 / 10.0 corpus mean (≈ +2.5 per page; measurement fix only)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~40 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Nov 16, 2026, 5:04 AM UTC
- 主要语言
- JavaScript
- 星标
- 62
- 派生
- 43
- 平均合并
- 11 小时 26 分钟
- 30 天内合并 PR
- 13
环境准备
在浏览器里用你自己的 GitHub 账号启动这个项目的开发容器。
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
githubnext/gh-aw-workshop 的其他 Issue
-
documentation
难度 1/5 1-3 小时 新手友好度 85/100
githubnext/gh-aw-workshop#5752 ·
维护者通常 1 天内回复
-
feedback simulation workshop
难度 2/5 1-3 小时 新手友好度 72/100
githubnext/gh-aw-workshop#5750 ·
维护者通常 1 天内回复
-
feedback simulation workshop
难度 2/5 1-3 小时 新手友好度 67/100
githubnext/gh-aw-workshop#5749 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 78/100
githubnext/gh-aw-workshop#5746 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 82/100
githubnext/gh-aw-workshop#5744 ·
维护者通常 1 天内回复
查看 githubnext/gh-aw-workshop 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 70/100
维护者通常 1 天内回复
-
channels:add check:passed
难度 1/5 1 小时以内 新手友好度 66/100
iptv-org/database#39416 · 2 条评论 ·
维护者通常 2 天内回复
-
难度 1/5 1 小时以内 新手友好度 72/100
swisstopo/topo-swisseobrowser#48 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复