[curriculum-eval] curriculum_assessment.py: checkpoint_quality and scaffolding — regexes miss :shortcode: headings, scoring 92 pages as 0

オープン 初心者向け
  • 何か問題がありますか？
#5,659 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
78/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
python
領域
devtools

調査の方向性

.github/skills/curriculum-quantitative-assessment/curriculum_assessment.py の CHECKPOINT_RE から始め、その後 scaffolding の「Before You Start」正規表現（204行目付近）を確認してください。両方が :white_check_mark: と :clipboard: のショートコード形式を受け付けるようにし、チェックポイント見出しの下にあるチェックリスト項目がカウントされることを確認します。workshop/04-github-actions-intro.md が has_checkpoint: true になり、単体テストで両方の見出し形式をカバーできれば完了です。

索引モデルが issue の本文から書いたものです。

説明

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a (rubric defect; corpus mean 6.06)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 92/94 pages ≥ 4 items → 10 −10
scaffolding 5.0 on 94/94 pages section present → 10 −5

Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches ##\s+✅\s*Checkpoint and the scaffolding check matches ##\s+📋\s*Before You Start. The workshop files write these headings as ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start, so they are never detected.

Evidence (quoted from the file):

CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
(workshop/04-github-actions-intro.md) ## :white_check_mark: Checkpoint followed by 5 checklist items, scored has_checkpoint: false.

Learning Science Rationale:
Scorecards only guide curriculum improvement if the metrics are valid. A constant 0 on a 2.0-weight dimension adds a fixed 2.0-point penalty to almost every page. This hides real differences in cognitive load (Sweller) and activity density, and it triggers false missing_checkpoint flags that send agents to fix things that are not broken.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE so it matches both the emoji and the shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint". Update the "Before You Start" scaffolding regex (around line 204) to accept both 📋 and :clipboard:. Also accept "Prerequisites". Re-run the assessment and confirm has_checkpoint is true for pages that contain "## :white_check_mark: Checkpoint", and add a unit test for both heading forms. Verify checklist_items counts the checkpoint-section items for checkpoint_quality.

Expected Score After Fix: corpus mean rises from 6.06 to roughly 7.5 / 10.0, with missing_checkpoint flags dropping to the 6 pages that really lack one.

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~41 AIC · ⌖ ~2 AIC · ⊞ 5K · ◷

  • expires on Nov 14, 2026, 3:32 AM UTC
主要言語
JavaScript
スター
62
フォーク
43
平均マージ
1日 5時間
マージ済み PR（30日）
9

環境構築

Codespaces で開く

このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。

  • Dockerfile・Docker Compose ファイルなし
  • プルリクエストのテンプレートなし
  • コントリビューションガイドなし

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

githubnext/gh-aw-workshop のほかの issue

githubnext/gh-aw-workshop の issue をすべて見る

似ている issue

JavaScript の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。