[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regexes miss `:white_check_mark:` and `:clipboard:` headings, depressing 93 pages

オープン 初心者向け
#5,776 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
88/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
github-actions, python
領域
testing

調査の方向性

.github/skills/curriculum-quantitative-assessment/curriculum_assessment.pyから始めます。issueではCHECKPOINT_REと前提条件セクションの正規表現が示されています。これらのパターンを読み、workshop/04-github-actions-intro.mdの見出しの例を確認してください。## Prerequisitesを維持しながら、両方のパターンが絵文字形式とショートコード形式を認識するよう更新し、その後評価を再実行して、報告されたチェックポイントの結果とコーパスの平均を確認してください。

索引モデルが issue の本文から書いたものです。

説明

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (threshold 5.52)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 93/95 pages ≥ 4 items → 10 −10
scaffolding 5.0 on 95/95 pages section present → 10 −5

Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches only the literal ✅ emoji and the prerequisite check matches only 📋. Workshop pages use the GitHub shortcode form (## :white_check_mark: Checkpoint, ## :clipboard: Before You Start), so every page scores 0 for checkpoint and 5 for scaffolding.

Evidence (quoted from the file):

CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE) and re.search(r"##\s+📋\s*Before You Start", raw, re.IGNORECASE)

For example, workshop/04-github-actions-intro.md has ## :white_check_mark: Checkpoint with 5 checklist items but is reported has_checkpoint: false. 93 workshop files contain that exact heading.

Learning Science Rationale:
Retrieval practice and formative assessment (Roediger & Karpicke) require learners to self-check outcomes at the end of a step, and the workshop already provides this. A rubric that cannot see it produces false "missing checkpoint" findings, hides real weaknesses (length, concept overload, low activity density) and wastes remediation effort on content that is already correct.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both "## ✅ Checkpoint" and "## :white_check_mark: Checkpoint", and update the has_prereq_section regex to match both "## 📋 Before You Start" and "## :clipboard: Before You Start" (keep "## Prerequisites"). Use patterns like r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint" and r"##\s+(?:📋|:clipboard:)\s*Before You Start". Re-run the assessment and confirm that has_checkpoint is true for all pages except 00-welcome, 01-prerequisites, 06-install-gh-aw and README, and that the corpus mean rises by about 2 points.

Expected Score After Fix: 8.0 / 10.0 (corpus mean; most pages gain +2.0 checkpoint and +0.75 scaffolding)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~47 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 17, 2026, 3:03 AM UTC
主要言語
JavaScript
スター
62
フォーク
43
平均マージ
11時間 26分
マージ済み PR(30日)
13

環境構築

Codespaces で開く

このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。

  • Dockerfile・Docker Compose ファイルなし
  • プルリクエストのテンプレートなし
  • コントリビューションガイドなし

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

githubnext/gh-aw-workshop のほかの issue

githubnext/gh-aw-workshop の issue をすべて見る

似ている issue

JavaScript の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。