[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: headings, 92 of 94 pages falsely flagged
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
まず .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py を確認し、CHECKPOINT_RE と scaffolding の正規表現を調べます。次に、参照されているワークショップの見出しを workshop/04-github-actions-intro.md と side-quest-01-02-environment-reference.md で読みます。絵文字と shortcode の両方の見出し形式が認識され、両方を対象とするテストがあり、評価によって報告されたページにチェックポイントがあることが確認されれば完了です。
索引モデルが issue の本文から書いたものです。
説明
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a (corpus mean: 6.06)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 92/94 pages | ≥ 7.5 where a checkpoint exists | about −7.5 per page |
| scaffolding | 5.0 on pages with "📋 Before You Start" | 10 | −5 (check regex) |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE) (line 10) only matches the literal ✅ character, while the workshop (per AGENTS.md) uses ## :white_check_mark: Checkpoint. The same mismatch probably affects the :clipboard: scaffolding pattern, and it explains the sudden −2.00 "declines" on side-quest-11-09 and side-quest-12-01.
Evidence (quoted from the file):
## :white_check_mark: Checkpoint(e.g.workshop/04-github-actions-intro.md, line 138), againstCHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
Learning Science Rationale:
Measurement validity: a rubric that mis-detects the checkpoint (retrieval practice, Roediger & Karpicke) produces misleading targets, so writers get pushed to fix non-problems while real issues (length, concept load) are hidden by a uniform −2.0 to −3.0 penalty.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to accept both "✅" and ":white_check_mark:" (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint"). Do the same for the scaffolding regex so ":clipboard: Before You Start" is recognised. Add unit tests with both heading styles, rerun the assessment, and confirm that has_checkpoint is true for workshop/04-github-actions-intro.md and side-quest-01-02-environment-reference.md.
Expected Score After Fix: 8.0 / 10.0 (corpus mean after fix, approximate)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~35 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Nov 10, 2026, 3:33 AM UTC
- 主要言語
- JavaScript
- スター
- 58
- フォーク
- 40
- 平均マージ
- 1日 22時間
- マージ済み PR（30日）
- 7
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
githubnext/gh-aw-workshop のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
githubnext/gh-aw-workshop#5522 ·
メンテナーはふだん 1 日以内に返信
-
feedback simulation workshop
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
githubnext/gh-aw-workshop#5517 ·
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
githubnext/gh-aw-workshop#5512 ·
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
githubnext/gh-aw-workshop#5510 ·
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
githubnext/gh-aw-workshop#5511 ·
メンテナーはふだん 1 日以内に返信
githubnext/gh-aw-workshop の issue をすべて見る
似ている issue
-
external-plugin needs-review:HIGH ready-for-review
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
github/awesome-copilot#6346 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
kingcharleslzy-ai/dsh-purge#179 ·
メンテナーはふだん 1 日以内に返信
-
status: ready
難易度 2/5 1〜3時間 初心者へのやさしさ 64/100
melodic-software/claude-code-plugins#15008 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
S-Needs triage
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 2 日以内に返信
-
ACK_WAITING HELP_WANTED UPDATE_CS
難易度 2/5 1〜3時間 初心者へのやさしさ 83/100
OWASP/CheatSheetSeries#2935 ·
メンテナーはふだん 1 日以内に返信