[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses `:white_check_mark:` headings, 92/94 pages scored 0
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 76/100
調査の方向性
.github/skills/curriculum-quantitative-assessment/curriculum_assessment.pyを読み、まずCHECKPOINT_REと157行目付近のチェックポイント証拠のロジックを確認してください。正規表現をworkshop/04-github-actions-intro.mdの見出しと比較し、評価を実行して、チェックポイントがないと報告するのが名前の挙がった6ページだけであること、およびチェックリストの項目数がcheckpoint_qualityに影響することを確認してください。古いパターンを参照するテストやドキュメントがあれば更新してください。
索引モデルが issue の本文から書いたものです。
説明
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (threshold 5.52)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 92/94 pages | ≥ 4 items → 10 | −10 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE is ##\s+✅\s*Checkpoint, which only matches the literal emoji, while workshop pages (per AGENTS.md convention) use ## :white_check_mark: Checkpoint. Only 6 of 94 files actually lack a checkpoint heading, so ~86 pages are scored 0 on a 2.0-weight dimension and flagged missing_checkpoint falsely.
Evidence (quoted from the file):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
versus workshop/04-github-actions-intro.md: ## :white_check_mark: Checkpoint followed by 5 checklist items (reported as has_checkpoint: false).
Learning Science Rationale:
Retrieval-practice and formative-assessment research (Roediger & Karpicke) shows end-of-lesson self-checks improve retention, so a rubric must measure them accurately. A false zero hides which pages genuinely lack checkpoints and masks real issues behind a uniform ~2–3 point penalty, degrading the evaluator's signal for prioritisation.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, change CHECKPOINT_RE (line ~10) to match both the emoji and the shortcode: r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint". Check any other regex or Bloom cue (e.g. the "activity:checkpoint" evidence near line 157) that depends on it. Re-run the assessment and confirm that only 00-welcome.md, 01-prerequisites.md, 06-install-gh-aw.md, README.md, side-quest-13-01-pr-labeler-pattern.md and side-quest-13-02-pr-summary-pattern.md report has_checkpoint false, and that checkpoint_quality now reflects checklist item counts. Update any tests or docs referencing the old pattern.
Expected Score After Fix: ~8.3 / 10.0 corpus mean (checkpoint dimension recovers ≈ +2.0 weighted points on ~86 pages)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~42 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Oct 28, 2026, 6:06 AM UTC
- 主要言語
- JavaScript
- スター
- 56
- フォーク
- 40
- 平均マージ
- 2日 15時間
- マージ済み PR(30日)
- 14
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
githubnext/gh-aw-workshop のほかの issue
-
documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
githubnext/gh-aw-workshop#5193 ·
メンテナーはふだん 1 日以内に返信
-
documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
githubnext/gh-aw-workshop#5194 ·
メンテナーはふだん 1 日以内に返信
-
[workshop-sync] workshop/side-quest-17-05-supply-chain-mcp.md: verify `network.allowed` link anchorsオープンdocumentation
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
githubnext/gh-aw-workshop#5192 ·
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
githubnext/gh-aw-workshop#5184 ·
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
githubnext/gh-aw-workshop#5182 ·
メンテナーはふだん 1 日以内に返信
githubnext/gh-aw-workshop の issue をすべて見る
似ている issue
-
check:failed logos:add
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
iptv-org/database#38874 · コメント 1 件 ·
メンテナーはふだん 4 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
-
agent/quality stage/040-covered-by-pr testing
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
cncf/endusers#2031 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
agent bug
難易度 1/5 1時間未満 初心者へのやさしさ 88/100