[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: shortcode, 93/95 pages scored 0
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
.github/skills/curriculum-quantitative-assessment/curriculum_assessment.py を開き、CHECKPOINT_RE と、scaffolding / "Before You Start" の検出処理を探してください。絵文字だけのパターンはそこにあります。両方を広げて GitHub のショートコード形式(:white_check_mark:、:clipboard:)も受け付けるようにし、それらをカバーするテストを更新するか追加してください。workshop/ に対して評価を再実行したときに、workshop/04-github-actions-intro.md が has_checkpoint: true と、ゼロではない checkpoint_quality を報告し、チェックポイントを持つページについて検出結果から missing_checkpoint が消えていれば完了です。
索引モデルが issue の本文から書いたものです。
説明
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects all workshop/*.md)
Overall Score: corpus mean 6.06 / 10.0 (artificially depressed)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 93/95 pages | ≥ 10 with ≥ 4 items | -10 |
| scaffolding | 5.0 on most pages | 10 when "Before You Start" present | -5 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE is ##\s+✅\s*Checkpoint, but workshop pages (per AGENTS.md conventions) write ## :white_check_mark: Checkpoint; the same applies to :clipboard: Before You Start. As a result checkpoint_quality and scaffolding are mis-scored and missing_checkpoint is flagged on pages that have valid checkpoints.
Evidence (quoted from the file):
:white_check_mark: Checkpoint
- You can identify
on,jobs, andstepsin a workflow file
(from workshop/04-github-actions-intro.md, which the rubric reports as has_checkpoint: false, checkpoint_quality: 0.0)
Learning Science Rationale:
Metrics only support instructional decisions if they measure what they claim to. Formative-assessment research (Black & Wiliam) values frequent check-for-understanding points, and this workshop has them; a false "missing checkpoint" signal sends effort toward non-problems and masks real weaknesses such as low activity density and long pages.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to also match the GitHub shortcode form, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the scaffolding/"Before You Start" detection to accept both ":clipboard:" and "📋" prefixes. Add or update tests, re-run the assessment against workshop/, and confirm that pages such as 04-github-actions-intro.md now report has_checkpoint=true and checkpoint_quality>0. Then re-check the findings list for pages that were flagged only because of missing_checkpoint.
Expected Score After Fix: corpus mean about 7.3 / 10.0 (most pages gain ~+10 on checkpoint_quality ×2.0 weight and +5 on scaffolding ×1.5 weight, over total weight 10)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~40 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Nov 23, 2026, 3:32 AM UTC
- 主要言語
- JavaScript
- スター
- 61
- フォーク
- 43
- 平均マージ
- 10時間 38分
- マージ済み PR(30日)
- 12
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
githubnext/gh-aw-workshop のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
githubnext/gh-aw-workshop#6010 ·
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 80/100
githubnext/gh-aw-workshop#6000 ·
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
githubnext/gh-aw-workshop#5998 ·
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
githubnext/gh-aw-workshop#5999 ·
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 半日 初心者へのやさしさ 70/100
githubnext/gh-aw-workshop#5996 ·
メンテナーはふだん 1 日以内に返信
githubnext/gh-aw-workshop の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 65/100
ImranR98/apps.obtainium.imranr.dev#2023 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 62/100
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 64/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
Spomky-Labs/pwa-bundle#496 ·
メンテナーはふだん 5 日以内に返信