[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: shortcode, 93/95 pages scored 0

オープン 初心者向け
#5,997 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
78/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
python
領域
tooling

調査の方向性

.github/skills/curriculum-quantitative-assessment/curriculum_assessment.py を開き、CHECKPOINT_RE と、scaffolding / "Before You Start" の検出処理を探してください。絵文字だけのパターンはそこにあります。両方を広げて GitHub のショートコード形式(:white_check_mark:、:clipboard:)も受け付けるようにし、それらをカバーするテストを更新するか追加してください。workshop/ に対して評価を再実行したときに、workshop/04-github-actions-intro.md が has_checkpoint: true と、ゼロではない checkpoint_quality を報告し、チェックポイントを持つページについて検出結果から missing_checkpoint が消えていれば完了です。

索引モデルが issue の本文から書いたものです。

説明

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects all workshop/*.md)
Overall Score: corpus mean 6.06 / 10.0 (artificially depressed)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 93/95 pages ≥ 10 with ≥ 4 items -10
scaffolding 5.0 on most pages 10 when "Before You Start" present -5

Root Cause (≤ 2 sentences):
CHECKPOINT_RE is ##\s+✅\s*Checkpoint, but workshop pages (per AGENTS.md conventions) write ## :white_check_mark: Checkpoint; the same applies to :clipboard: Before You Start. As a result checkpoint_quality and scaffolding are mis-scored and missing_checkpoint is flagged on pages that have valid checkpoints.

Evidence (quoted from the file):

:white_check_mark: Checkpoint
  • You can identify on, jobs, and steps in a workflow file

(from workshop/04-github-actions-intro.md, which the rubric reports as has_checkpoint: false, checkpoint_quality: 0.0)

Learning Science Rationale:
Metrics only support instructional decisions if they measure what they claim to. Formative-assessment research (Black & Wiliam) values frequent check-for-understanding points, and this workshop has them; a false "missing checkpoint" signal sends effort toward non-problems and masks real weaknesses such as low activity density and long pages.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to also match the GitHub shortcode form, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the scaffolding/"Before You Start" detection to accept both ":clipboard:" and "📋" prefixes. Add or update tests, re-run the assessment against workshop/, and confirm that pages such as 04-github-actions-intro.md now report has_checkpoint=true and checkpoint_quality>0. Then re-check the findings list for pages that were flagged only because of missing_checkpoint.

Expected Score After Fix: corpus mean about 7.3 / 10.0 (most pages gain ~+10 on checkpoint_quality ×2.0 weight and +5 on scaffolding ×1.5 weight, over total weight 10)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~40 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 23, 2026, 3:32 AM UTC
主要言語
JavaScript
スター
61
フォーク
43
平均マージ
10時間 38分
マージ済み PR(30日)
12

環境構築

Codespaces で開く

このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。

  • Dockerfile・Docker Compose ファイルなし
  • プルリクエストのテンプレートなし
  • コントリビューションガイドなし

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

githubnext/gh-aw-workshop のほかの issue

githubnext/gh-aw-workshop の issue をすべて見る

似ている issue

JavaScript の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。