[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: shortcode, 90 pages falsely flagged

已关闭 适合新手
#4,800 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看

维护者通常 1 天内回复

还没有人认领这个 Issue。

评估

难度
2/5
预计耗时
1-3 小时
新手友好度
78/100
Issue 类型
缺陷
描述清晰度
描述清楚
活跃度
活跃
技术栈
github-actions, python
领域
content, testing

调研方向

打开 .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py,检查 CHECKPOINT_RE 和先决条件部分的正则表达式。为包含 emoji 和 shortcode 的标题添加所需的单元测试,然后重新运行评估。两种标题形式都能被检测到,且现有 workshop 页面能正确报告 checkpoint 和先决条件部分时,即为完成。

由索引模型根据 Issue 内容生成。

描述

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.1 / 10.0

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 90/93 pages present, ≥4 items −10
scaffolding 5.0 on 93/93 pages 10 −5

Root Cause: CHECKPOINT_RE = ##\s+✅\s*Checkpoint and the Before You Start regex ##\s+📋 match literal emoji, while workshop pages use :white_check_mark: / :clipboard: shortcodes. Only 3 pages match the checkpoint rule and none match the prerequisite rule.

Evidence (quoted from the file):

## :white_check_mark: Checkpoint (e.g. workshop/04-github-actions-intro.md line 138, with 5 checklist items, scored 0.0)

Learning Science Rationale: Measurement validity: a rubric that misses existing scaffolding gives learners and authors misleading signals, so improvement effort goes to non-problems instead of real Cognitive Load issues (Sweller) such as overlong pages.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE and the has_prereq_section regexes to accept both the emoji and the GitHub shortcode forms (":white_check_mark:" / "✅" and ":clipboard:" / "📋"). Add unit tests for both forms, rerun the assessment and confirm most pages now show has_checkpoint=true and has_prereq_section=true.

Expected Score After Fix: ~8.5 / 10.0 corpus mean (measurement correction)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · 28.5 AIC · ⌖ 0.871 AIC · ⊞ 10.4K · ◷

  • expires on Oct 21, 2026, 12:58 PM UTC
主要语言
JavaScript
星标
56
派生
40
平均合并
2 天 14 小时
30 天内合并 PR
13

环境准备

在 Codespaces 中打开

在浏览器里用你自己的 GitHub 账号启动这个项目的开发容器。

  • 没有 Dockerfile 或 Docker Compose 文件
  • 没有 Pull Request 模板
  • 没有贡献指南

从这里开始

  1. 先读完整个 Issue,再读项目的贡献指南。
  2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
  3. Fork 仓库,在一个分支上完成修改。
  4. 提交 Pull Request,并在描述里引用这个 Issue 编号。

githubnext/gh-aw-workshop 的其他 Issue

查看 githubnext/gh-aw-workshop 的全部 Issue

相似的 Issue

更多 JavaScript Issue

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。