[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: headings (90/93 false negatives)
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 2/5
- 预计耗时
- 1-3 小时
- 新手友好度
- 82/100
- Issue 类型
- 缺陷
- 描述清晰度
- 描述清楚
- 活跃度
- 活跃
- 技术栈
- python
- 领域
- testing-qa
调研方向
阅读 .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py，重点关注 CHECKPOINT_RE 和清单项提取。更新匹配规则，使其能够识别两种标题形式，然后按照 issue 中的说明重新运行评估。短代码标题能够被检测到，且报告的检查点结果反映修正后的结果，即为完成。
由索引模型根据 Issue 内容生成。
描述
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a (corpus mean: 6.09)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 90 pages | ≥ 7.5 (≥ 3 items) | −7.5+ |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE is ##\s+✅\s*Checkpoint (line 10), but workshop files write the heading as ## :white_check_mark: Checkpoint. Only 3/93 pages are detected as having a checkpoint, while 90/93 actually have one.
Evidence (quoted from the file):
## :white_check_mark: Checkpoint(e.g. workshop/04-github-actions-intro.md line 138, which the scorer flags asmissing_checkpoint)
Learning Science Rationale:
Retrieval practice (Roediger & Karpicke) depends on end-of-step self-checks, so a rubric that falsely reports their absence misdirects authors toward non-problems and hides real gaps such as concept overload and low activity density. Fixing measurement validity comes first.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE so it matches both "## ✅ Checkpoint" and "## :white_check_mark: Checkpoint" (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", case-insensitive). Check that checklist-item extraction also works on the shortcode form. Re-run the assessment and confirm ~90 pages now have has_checkpoint=true, then report the new corpus mean and the updated findings list.
Expected Score After Fix: ~8.0 / 10.0 corpus mean (checkpoint weight 2.0 recovered on ~90 pages)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · 22.1 AIC · ⌖ 0.759 AIC · ⊞ 10.4K · ◷
- expires on Oct 18, 2026, 6:48 AM UTC
- 主要语言
- JavaScript
- 星标
- 56
- 派生
- 40
- 平均合并
- 2 天 14 小时
- 30 天内合并 PR
- 13
环境准备
在浏览器里用你自己的 GitHub 账号启动这个项目的开发容器。
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
githubnext/gh-aw-workshop 的其他 Issue
-
feedback simulation workshop
难度 2/5 1-3 小时 新手友好度 60/100
githubnext/gh-aw-workshop#5264 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 72/100
githubnext/gh-aw-workshop#5258 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 62/100
githubnext/gh-aw-workshop#5257 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 62/100
githubnext/gh-aw-workshop#5254 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 72/100
githubnext/gh-aw-workshop#5255 ·
维护者通常 1 天内回复
查看 githubnext/gh-aw-workshop 的全部 Issue
相似的 Issue
-
neutral:fix
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
wazuh/wazuh-documentation#10611 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 62/100
remotion-dev/remotion#12905 ·
维护者通常 1 天内回复
-
enhancement websites
难度 2/5 1-3 小时 新手友好度 78/100
quarto-dev/quarto-cli#15255 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
PolicyEngine/cliff-watch#44 ·