[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: headings, 90/93 pages scored 0
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
问题出在 .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py 中的 CHECKPOINT_RE,它只匹配字面的带表情符号标题。先阅读该模式,然后检查使用了 ## :white_check_mark: Checkpoint 的 workshop/side-quest-17-07-repo-poisoning.md。完成标准是:该模式能够不区分大小写地接受两种标题形式,单元测试覆盖这两种形式,并且那 3 个没有检查点的页面仍然会被标记。
由索引模型根据 Issue 内容生成。
描述
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a (affects 90 of 93 pages; corpus mean 6.09)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 (90/93 pages) | >= 4 items -> 10.0 | -10.0 |
Root Cause (<= 2 sentences):
CHECKPOINT_RE matches only the literal emoji heading, while workshop files use ## :white_check_mark: Checkpoint. Every page therefore reports has_checkpoint: false and scores 0 on a 2.0-weight dimension.
Evidence (quoted from the file):
## :white_check_mark: Checkpointfollowed by 5-7- [ ]items inworkshop/side-quest-17-07-repo-poisoning.md, yet the file is flaggedmissing_checkpoint.
Learning Science Rationale:
Valid measurement is a precondition for formative feedback (Black & Wiliam). A false 0 on checkpoint quality hides real retrieval-practice gaps (the testing effect) and distorts thresholds, trends, and flagged findings, so agents chase nonexistent problems.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, change CHECKPOINT_RE so it also matches ":white_check_mark:" (for example a pattern accepting either the emoji or :white_check_mark: before "Checkpoint", case-insensitive). Rerun the assessment and confirm most workshop pages now have has_checkpoint true while the 3 genuinely missing pages are still flagged. Add a unit test for both heading forms.
Expected Score After Fix: ~7.5 / 10.0 corpus mean (from 6.09)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · 27.2 AIC · ⌖ 0.785 AIC · ⊞ 10.5K · ◷
- expires on Oct 17, 2026, 7:40 AM UTC
- 主要语言
- JavaScript
- 星标
- 53
- 派生
- 35
- 平均合并
- 1 天 5 小时
- 30 天内合并 PR
- 16
环境准备
在浏览器里用你自己的 GitHub 账号启动这个项目的开发容器。
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
githubnext/gh-aw-workshop 的其他 Issue
-
documentation
难度 2/5 1-3 小时 新手友好度 62/100
githubnext/gh-aw-workshop#4635 ·
维护者通常 1 天内回复
-
[guidelines] side-quest-21-01-sub-agent-syntax.md: checklist checkbox count exceeds 10-item limit未关闭documentation guidelines
难度 2/5 1-3 小时 新手友好度 62/100
githubnext/gh-aw-workshop#4409 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
githubnext/gh-aw-workshop#3109 · 11 条评论 ·
维护者通常 1 天内回复
-
accessibility bug
难度 2/5 1-2 天 新手友好度 68/100
githubnext/gh-aw-workshop#2744 · 10 条评论 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 3/5 1-2 天 新手友好度 68/100
githubnext/gh-aw-workshop#4639 ·
维护者通常 1 天内回复
查看 githubnext/gh-aw-workshop 的全部 Issue
相似的 Issue
-
enhancement
难度 2/5 1-3 小时 新手友好度 67/100
维护者通常 1 天内回复
-
enhancement good first issue
难度 2/5 1-3 小时 新手友好度 76/100
SasanLabs/VulnerableApp#836 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
keyxmakerx/Chronicle#1469 ·
维护者通常 1 天内回复
-
Connection.prototype.bulkWrite() with ordered: false resolves null when a write fails可能已有人在做 @maxymlyskov 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
Automattic/mongoose#16601 ·
维护者通常 2 天内回复
-
sandbox-vercel: persistent: false is dropped for live sandboxes created from a template, so every stop writes a snapshot可能已有人在做 @jvg123 今天认领。 未关闭factory-active task-identify-harness-labels-done task-identify-issue-type-done
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复