[curriculum-eval] curriculum_assessment.py: checkpoint_quality — emoji-only regex scores shortcode checkpoints as missing
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 78/100
調査の方向性
修正箇所は .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py の、CHECKPOINT_RE と Before-You-Start の正規表現定義です。これらはリテラルの絵文字にしか一致しません。まずこの2つのパターンと、:white_check_mark: ショートコードを使っている workshop/04-github-actions-intro.md のようなページを読んでください。完了の条件は、両方の正規表現が絵文字形式とショートコード形式の両方を受け付けること、新しいユニットテストで両方を網羅すること、そして再実行でそのページの has_checkpoint が true と報告されることです。
索引モデルが issue の本文から書いたものです。
説明
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.09 / 10.0 (all pages affected)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 90/93 pages | ≥ 7.5 (checkpoint with ≥ 3–4 items) | up to −10 |
| scaffolding | 5.0 on 93/93 pages | 10 | −5 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE (##\s+✅\s*Checkpoint) and the Before-You-Start regex (##\s+📋\s*Before You Start) require literal emoji, but workshop pages use GitHub shortcodes (## :white_check_mark: Checkpoint, ## :clipboard: Before You Start), so detection always fails. Result: every non-dispatcher page is penalised ~2.5–3 points of weighted score and findings such as missing_checkpoint are false positives.
Evidence (quoted from the file):
workshop/04-github-actions-intro.md: "## ✅ Checkpoint" followed by 5 checklist items — scoredhas_checkpoint: false,checkpoint_quality: 0.0.
Learning Science Rationale:
Valid measurement is a precondition for acting on Cognitive Load Theory and retrieval-practice findings: checkpoints are a retrieval-practice mechanism (Roediger & Karpicke), so a rubric that reports them absent misdirects effort toward pages that already comply and hides real gaps (e.g. only 3 pages truly lack checkpoints: 00-welcome, 01-prerequisites, 06-install-gh-aw).
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and shortcode forms: r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the "Before You Start" regex to r"##\s+(?:📋|:clipboard:)\s*Before You Start". Add unit tests covering both forms, rerun the assessment over workshop/*.md, and confirm has_checkpoint is true for pages like 04-github-actions-intro.md and has_prereq_section is true where "## :clipboard: Before You Start" exists. Also check other emoji-based regexes in the file for the same shortcode mismatch.
Expected Score After Fix: ~7.8 / 10.0 corpus mean (from 6.09)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · 25.5 AIC · ⌖ 0.831 AIC · ⊞ 10.4K · ◷
- expires on Oct 15, 2026, 6:54 AM UTC
- 主要言語
- JavaScript
- スター
- 53
- フォーク
- 35
- 平均マージ
- 13時間 50分
- マージ済み PR(30日)
- 14
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
githubnext/gh-aw-workshop のほかの issue
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
githubnext/gh-aw-workshop#4569 ·
メンテナーはふだん 1 日以内に返信
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
githubnext/gh-aw-workshop#4568 ·
メンテナーはふだん 1 日以内に返信
-
accessibility bug
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
githubnext/gh-aw-workshop#4555 ·
メンテナーはふだん 1 日以内に返信
-
documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
githubnext/gh-aw-workshop#4548 ·
メンテナーはふだん 1 日以内に返信
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 66/100
githubnext/gh-aw-workshop#4549 ·
メンテナーはふだん 1 日以内に返信
githubnext/gh-aw-workshop の issue をすべて見る
似ている issue
-
internal os specific
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
frostney/GocciaScript#1688 ·
メンテナーはふだん 1 日以内に返信
-
🐞 bug pending triage
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
CircuitVerse/CircuitVerse#8031 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 8 日以内に返信
-
docs(stream-protocol): document messageMetatadata on start/finish and the message-metadata chunk対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープンfactory-active task-identify-harness-labels-done task-identify-issue-type-done
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 7 日以内に返信