[curriculum-eval] curriculum_assessment.py: checkpoint_quality — CHECKPOINT_RE misses `:white_check_mark:` shortcode, 92/94 pages scored 0
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
从 .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py 中 CHECKPOINT_RE 的定义开始，并检查使用它的 has_checkpoint 逻辑。复现时，在 workshop/side-quest-01-02-environment-reference.md 上运行评估脚本。该页面有一个带 :white_check_mark: 的检查点标题，但得分为 has_checkpoint: false。当该页面以及其他两种标题样式的学习页面都能被识别，检查点的 Bloom 提示和清单计数得到确认，并且该 skill 的测试通过时，即完成。
由索引模型根据 Issue 内容生成。
描述
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (understated by about 2 points of weighted score)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 (92 of 94 pages) | ≥ 7.5 (≥ 3 items; 10 at ≥ 4 items) | -7.5 to -10 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE) only matches the literal emoji. Workshop pages use the ## :white_check_mark: Checkpoint shortcode required by AGENTS.md, so has_checkpoint is false and missing_checkpoint is flagged on pages that do have checkpoints.
Evidence (quoted from the file):
## :white_check_mark: Checkpoint(e.g.workshop/side-quest-01-02-environment-reference.mdline 155, followed by 7 checklist items, yet scoredhas_checkpoint: false)
Learning Science Rationale:
Checkpoints are formative assessment and retrieval practice (Roediger and Karpicke's testing effect). A metric that reports them as absent when they exist sends authors to fix a non-problem and hides real weaknesses such as vague checklist items. It also causes score swings in history (side-quest-11-09 and side-quest-12-01 each moved by 2.00 points).
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, change CHECKPOINT_RE so it matches both "## ✅ Checkpoint" and "## :white_check_mark: Checkpoint" (for example r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE). Re-run the assessment script on workshop/ and confirm has_checkpoint is true for all learning pages that contain a checkpoint heading. Also check whether the activity:checkpoint Bloom cue at around line 157 and the checklist-item counting need the same fix. Update any unit tests or docs for the skill. Do not edit workshop content.
Expected Score After Fix: ~8.0 / 10.0 corpus mean (up from 6.06)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~40 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Nov 2, 2026, 3:34 AM UTC
- 主要语言
- JavaScript
- 星标
- 56
- 派生
- 40
- 平均合并
- 2 天 14 小时
- 30 天内合并 PR
- 13
环境准备
在浏览器里用你自己的 GitHub 账号启动这个项目的开发容器。
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
githubnext/gh-aw-workshop 的其他 Issue
-
feedback simulation workshop
难度 2/5 1-3 小时 新手友好度 60/100
githubnext/gh-aw-workshop#5264 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 72/100
githubnext/gh-aw-workshop#5258 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 62/100
githubnext/gh-aw-workshop#5257 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 62/100
githubnext/gh-aw-workshop#5254 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 72/100
githubnext/gh-aw-workshop#5255 ·
维护者通常 1 天内回复
查看 githubnext/gh-aw-workshop 的全部 Issue
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 72/100
mongoosejs/mquery#142 ·
-
难度 1/5 1 小时以内 新手友好度 65/100
维护者通常 1 天内回复
-
Add toro4n to the data modeling tools可能已有人在做 @henriklantzhedstrom-prog 今天认领。 未关闭
难度 1/5 1 小时以内 新手友好度 62/100
neo4j/docs-getting-started#546 ·
-
难度 2/5 1-3 小时 新手友好度 65/100
维护者通常 25 天内回复
-
难度 2/5 1-3 小时 新手友好度 70/100
libnativeapi/nativeapi#21 ·