[curriculum-eval] curriculum_assessment.py: checkpoint_quality and scaffolding — regexes miss :shortcode: headings (92/94 false negatives)

オープン 初心者向け
  • 何か問題がありますか？
#5,476 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 3 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
82/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
github-actions, python
領域
testing-qa

調査の方向性

.github/skills/curriculum-quantitative-assessment/curriculum_assessment.pyから始めて、CHECKPOINT_REとhas_prereq_sectionの検出処理を読み、その後、関連する評価テストを確認してください。絵文字とショートコードを含む見出し（「Prerequisites」の見出しを含む）のテストを追加し、評価を実行して、ワークショップのファイルの内容を変更せずに、チェックポイントと前提条件のセクションが検出されることを確認してください。

索引モデルが issue の本文から書いたものです。

説明

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (all pages depressed by this bug)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 92/94 pages ≥ 10 when ≥ 4 items present −10.0
scaffolding 5.0 on 94/94 pages 10 when "Before You Start" present −5.0

Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches ##\s+✅\s*Checkpoint and the prerequisite regex matches ##\s+📋\s*Before You Start, but workshop files use the GitHub shortcode form (## :white_check_mark: Checkpoint, ## :clipboard: Before You Start). A grep shows 92 files have the checkpoint heading and 87 have the Before You Start heading, yet the rubric reports 2 and 0.

Evidence (quoted from the file):

## :white_check_mark: Checkpoint (e.g. workshop/04-github-actions-intro.md, 5 checklist items, scored checkpoint_quality: 0.0)

Learning Science Rationale:
A measurement instrument must be valid before its output can drive instructional decisions. Checkpoints support retrieval practice and formative feedback, and scaffolding supports Vygotsky-style staged support. Reporting them as absent sends authors toward adding duplicate sections, and swings in score history (two pages dropped exactly 2.00 points) reflect heading syntax, not learning quality.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the has_prereq_section detection to match r"##\s+(?:📋|:clipboard:)\s*Before You Start" as well as "## Prerequisites". Also check the bloom "evaluate" cue that uses the checkpoint regex. Add unit tests with one emoji and one shortcode sample for each. Re-run the assessment and confirm ~92 pages report has_checkpoint=true and ~87 report has_prereq_section=true. Do not edit workshop content.

Expected Score After Fix: 7.8 / 10.0 (corpus mean, estimated +1.7 from checkpoint and scaffolding recovery)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~46 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 9, 2026, 5:05 AM UTC
主要言語
JavaScript
スター
58
フォーク
40
平均マージ
4日 4時間
マージ済み PR（30日）
8

環境構築

Codespaces で開く

このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。

  • Dockerfile・Docker Compose ファイルなし
  • プルリクエストのテンプレートなし
  • コントリビューションガイドなし

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

githubnext/gh-aw-workshop のほかの issue

githubnext/gh-aw-workshop の issue をすべて見る

似ている issue

JavaScript の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。