[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: and :clipboard: shortcodes

オープン 初心者向け
#6,000 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
80/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
python
領域
tooling

調査の方向性

.github/skills/curriculum-quantitative-assessment/curriculum_assessment.py の CHECKPOINT_RE 定義から始め、そのパターン群が再利用されているすべての箇所をたどってください。has_prereq_section 正規表現、チェックリスト項目のカウンター、activity:checkpoint の Bloom キューです。リテラルの絵文字と :white_check_mark: / :clipboard: のショートコード形式の両方に一致させ、その後 workshop/*.md 全体で評価を再実行し、workshop/04-github-actions-intro.md が scaffolding 10 とともに has_checkpoint: true を報告し、さらに新しいコーパス平均も報告することを確認してください。

索引モデルが issue の本文から書いたものです。

説明

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects all workshop/*.md)
Overall Score: 5.4 / 10.0 for the 5 flagged pages (corpus mean: 6.06)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 ≥ 10.0 (≥ 4 items) −10.0
scaffolding 5.0 10.0 −5.0

Root Cause (≤ 2 sentences):
CHECKPOINT_RE = r"##\s+✅\s*Checkpoint" and the prerequisite regex ##\s+📋\s*Before You Start require literal emoji, but the workshop writes ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Every flagged page reports has_checkpoint: false and checkpoint_quality: 0.0 even when it has 5–7 checklist items.

Evidence (quoted from the file):

## :white_check_mark: Checkpoint / - [ ] You labeled all five parts of the sample workflow above ... (workshop/04-github-actions-intro.md, lines 138–144), which the scorer reports as has_checkpoint: false.

Learning Science Rationale:
Valid assessment depends on instruments that measure the intended construct. A false 0 for checkpoint quality pushes learners' retrieval-practice checkpoints, which are the strongest formative-assessment signal in the lesson, out of view, and sends authors to fix content that is not broken. Fixing the scorer restores a reliable feedback loop for Bloom-aligned improvements.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the literal emoji and the shortcode form (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE), and update the has_prereq_section regex to match "## 📋 Before You Start" and "## :clipboard: Before You Start" as well as "## Prerequisites". Also check the checklist-item counting and the "activity:checkpoint" Bloom cue use the same pattern. Re-run the assessment, confirm that 04-github-actions-intro.md now has has_checkpoint=true and scaffolding=10, and report the new corpus mean and the updated findings list.

Expected Score After Fix: 6.9 / 10.0 for 04-github-actions-intro.md (corpus mean expected to rise by roughly 1–2 points)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~39 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 23, 2026, 4:03 AM UTC
主要言語
JavaScript
スター
61
フォーク
43
平均マージ
10時間 38分
マージ済み PR(30日)
12

環境構築

Codespaces で開く

このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。

  • Dockerfile・Docker Compose ファイルなし
  • プルリクエストのテンプレートなし
  • コントリビューションガイドなし

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

githubnext/gh-aw-workshop のほかの issue

githubnext/gh-aw-workshop の issue をすべて見る

似ている issue

JavaScript の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。