[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses `:white_check_mark:` shortcode, 0/10 on every page
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 78/100
- issue の種類
- バグ
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- python
- 領域
- testing-qa
調査の方向性
.github/skills/curriculum-quantitative-assessment/curriculum_assessment.pyから始め、特にCHECKPOINT_RE、前提条件のチェック、およびチェックポイントのパターンを使うBloomアクティビティ cue コードを確認します。これらのパターンをissueに示されたショートコード見出しと比較し、絵文字形式とショートコード形式の両方を対象とする小さなユニットテストを追加します。workshop/*.mdを対象に評価を実行します。チェックポイントと前提条件のセクションが認識され、要求されたページごとのスコアとコーパス平均が報告されたら完了です。
索引モデルが issue の本文から書いたものです。
説明
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: affects all 94 pages (corpus mean 6.06; threshold 5.52)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 (all pages) | ≥ 7.5 (≥ 3 items) | −7.5 or worse |
| scaffolding | 5.0 (all pages) | 10 | −5.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches ##\s+✅\s*Checkpoint and the prerequisite check matches ##\s+📋\s*Before You Start, but workshop pages use the GitHub shortcodes ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Result: has_checkpoint and has_prereq_section are false everywhere, so missing_checkpoint is flagged on pages that have one (e.g. 04-github-actions-intro.md line 138, side-quest-11-06-anthropic-key.md line 109).
Evidence (quoted from the file):
## :white_check_mark: Checkpoint(workshop/04-github-actions-intro.md) vs.CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
Learning Science Rationale:
A rubric is only a valid proxy for Bloom-aligned formative assessment if it measures the construct it claims to. Misclassifying present checkpoints as absent creates systematic construct-irrelevant error, hides genuine gaps (pages with weak checkpoints), and produces misleading trends such as the two −2.00 swings seen in the history window.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the has_prereq_section regex to accept r"##\s+(?:📋|:clipboard:)\s*Before You Start" as well as "## Prerequisites". Also check the Bloom activity-cue code near line 157 that uses CHECKPOINT_RE. Add a small unit test covering both forms, rerun the assessment over workshop/*.md, and report the new corpus mean and per-page checkpoint_quality scores. Do not change workshop content.
Expected Score After Fix: ~7.0 / 10.0 corpus mean (checkpoint +2.0 weight on 4+ item pages, scaffolding +1.5 weight)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~34 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Oct 31, 2026, 4:04 AM UTC
- 主要言語
- JavaScript
- スター
- 56
- フォーク
- 40
- 平均マージ
- 2日 15時間
- マージ済み PR(30日)
- 14
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
githubnext/gh-aw-workshop のほかの issue
-
feedback simulation workshop
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
githubnext/gh-aw-workshop#5157 ·
メンテナーはふだん 1 日以内に返信
-
feedback simulation workshop
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
githubnext/gh-aw-workshop#5156 ·
メンテナーはふだん 1 日以内に返信
-
[workshop-sync] workshop/side-quest-13-02-pr-summary-pattern.md: agent job uses write permissionオープンdocumentation
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
githubnext/gh-aw-workshop#5153 ·
メンテナーはふだん 1 日以内に返信
-
[workshop-sync] workshop/side-quest-13-01-pr-labeler-pattern.md: agent job uses write permissionオープンdocumentation
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
githubnext/gh-aw-workshop#5154 ·
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
githubnext/gh-aw-workshop#5143 ·
メンテナーはふだん 1 日以内に返信
githubnext/gh-aw-workshop の issue をすべて見る
似ている issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
danilogiles/enki-browser#113 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
メンテナーはふだん 1 日以内に返信
-
ux
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
evcc-io/evcc#35605 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
bug triage
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 95/100
weavefox/awesome-opc#29 ·
メンテナーはふだん 1 日以内に返信