[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: shortcode, 92/94 pages scored as having no checkp

オープン 初心者向け
  • 何か問題がありますか？
#5,667 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
62/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
github-actions, markdown, python
領域
documentation, tooling

調査の方向性

.github/skills/curriculum-quantitative-assessment/curriculum_assessment.py を開き、リテラルの絵文字にしか一致しない CHECKPOINT_RE と has_prereq_section の正規表現を見つけてください。次に、Bloom の activity:checkpoint というヒントと NUMBERED_HDR_RE に同じパターンがあるか確認します。検証には workshop/04-github-actions-intro.md を使い、138 行目のショートコード ✅ で has_checkpoint=true と判定されるはずです。ショートコードのフィクスチャを使った単体テストが通り、評価を再実行するとチェックポイントが存在すると報告されれば完了です。

索引モデルが issue の本文から書いたものです。

説明

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects every workshop/*.md)
Overall Score: 6.06 / 10.0 corpus mean (threshold 5.52)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 92/94 pages ≥ 4 items → 10 −10
scaffolding 5.0 on nearly all pages 10 when section present −5

Root Cause (≤ 2 sentences):
CHECKPOINT_RE = r"##\s+✅\s*Checkpoint" and the scaffolding regex ##\s+📋\s*Before You Start only match literal emoji, but the workshop (per AGENTS.md conventions) writes ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Pages are therefore scored as lacking checkpoints and prerequisites despite having them, cutting ~2–3 points from each overall score.

Evidence (quoted from the file):

workshop/04-github-actions-intro.md line 138: ## :white_check_mark: Checkpoint followed by 5 checklist items (scored has_checkpoint: false, checkpoint_quality: 0.0); line 21: ## :clipboard: Before You Start (scored has_prereq_section: false).

Learning Science Rationale:
Valid measurement is a precondition for applying Bloom's, Cognitive Load, or Mayer-based feedback. A false-negative checkpoint metric hides the real signal (retrieval-practice checkpoints, per the testing effect, are present) and sends agents to "fix" pages that are fine, while masking real weaknesses such as low activity density and word count over 800 on side-quest-01-02-environment-reference.md and 05-agentic-workflows-intro.md.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match "## ✅ Checkpoint" OR "## :white_check_mark: Checkpoint" (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE), and update the has_prereq_section regex to accept "## 📋 Before You Start" OR "## :clipboard: Before You Start" OR "## Prerequisites". Also check NUMBERED_HDR_RE/other emoji-dependent patterns and the Bloom "activity:checkpoint" cue use the same updated regex. Add a unit test with a fixture using the shortcode form. Re-run the assessment and confirm that pages like workshop/04-github-actions-intro.md report has_checkpoint=true and checkpoint_quality=10.

Expected Score After Fix: 8.0 / 10.0 corpus mean (up from 6.06)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~48 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 14, 2026, 6:04 AM UTC
主要言語
JavaScript
スター
62
フォーク
43
平均マージ
1日 5時間
マージ済み PR（30日）
9

環境構築

Codespaces で開く

このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。

  • Dockerfile・Docker Compose ファイルなし
  • プルリクエストのテンプレートなし
  • コントリビューションガイドなし

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

githubnext/gh-aw-workshop のほかの issue

githubnext/gh-aw-workshop の issue をすべて見る

似ている issue

JavaScript の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。