[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: headings, 92 of 94 pages falsely flagged
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
从 .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py 开始，检查 CHECKPOINT_RE 和 scaffolding 正则表达式。然后阅读 workshop/04-github-actions-intro.md 和 side-quest-01-02-environment-reference.md 中提到的 workshop 标题。完成标准是：emoji 和 shortcode 标题样式都能被识别，有覆盖这两种样式的测试，并且评估确认报告的页面包含 checkpoints。
由索引模型根据 Issue 内容生成。
描述
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a (corpus mean: 6.06)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 92/94 pages | ≥ 7.5 where a checkpoint exists | about −7.5 per page |
| scaffolding | 5.0 on pages with "📋 Before You Start" | 10 | −5 (check regex) |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE) (line 10) only matches the literal ✅ character, while the workshop (per AGENTS.md) uses ## :white_check_mark: Checkpoint. The same mismatch probably affects the :clipboard: scaffolding pattern, and it explains the sudden −2.00 "declines" on side-quest-11-09 and side-quest-12-01.
Evidence (quoted from the file):
## :white_check_mark: Checkpoint(e.g.workshop/04-github-actions-intro.md, line 138), againstCHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
Learning Science Rationale:
Measurement validity: a rubric that mis-detects the checkpoint (retrieval practice, Roediger & Karpicke) produces misleading targets, so writers get pushed to fix non-problems while real issues (length, concept load) are hidden by a uniform −2.0 to −3.0 penalty.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to accept both "✅" and ":white_check_mark:" (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint"). Do the same for the scaffolding regex so ":clipboard: Before You Start" is recognised. Add unit tests with both heading styles, rerun the assessment, and confirm that has_checkpoint is true for workshop/04-github-actions-intro.md and side-quest-01-02-environment-reference.md.
Expected Score After Fix: 8.0 / 10.0 (corpus mean after fix, approximate)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~35 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Nov 10, 2026, 3:33 AM UTC
- 主要语言
- JavaScript
- 星标
- 58
- 派生
- 40
- 平均合并
- 1 天 22 小时
- 30 天内合并 PR
- 7
环境准备
在浏览器里用你自己的 GitHub 账号启动这个项目的开发容器。
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
githubnext/gh-aw-workshop 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 76/100
githubnext/gh-aw-workshop#5522 ·
维护者通常 1 天内回复
-
feedback simulation workshop
难度 2/5 1-3 小时 新手友好度 72/100
githubnext/gh-aw-workshop#5517 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 76/100
githubnext/gh-aw-workshop#5512 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 75/100
githubnext/gh-aw-workshop#5510 ·
维护者通常 1 天内回复
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 82/100
githubnext/gh-aw-workshop#5511 ·
维护者通常 1 天内回复
查看 githubnext/gh-aw-workshop 的全部 Issue
相似的 Issue
-
🧩 Docs job fails type-checking `generate-plugin-docs.ts`可能已有人在做 @X-Guardian 今天认领。 未关闭discussion
难度 2/5 1-3 小时 新手友好度 84/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 66/100
msys2/setup-msys2#673 ·
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 68/100
inveniosoftware/invenio-app-rdm#3630 ·
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
Dayset/ps2-elite-kd#119 ·
-
check:passed logos:add
难度 1/5 1 小时以内 新手友好度 76/100
维护者通常 1 天内回复