[workshop-sim] Repair: Fix CHECKPOINT_RE regex to match :white_check_mark: shortcode so checkpoint_quality is scored correctly
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 84/100
- issue の種類
- バグ
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- python
- 領域
- testing-qa, tooling
調査の方向性
.github/skills/curriculum-quantitative-assessment/curriculum_assessment.py から始め、CHECKPOINT_RE とその評価フローを調査します。workshop/ ディレクトリに対して評価を実行し、✅ に対する評価スクリプトのテストスイートのカバレッジを追加または更新し、workshop/ の内容を変更せずに 30 個すべてのステップがリグレッションなしで再計算されることを確認します。
索引モデルが issue の本文から書いたものです。
説明
Problem statement
The shared curriculum quantitative assessment script (.github/skills/curriculum-quantitative-assessment/curriculum_assessment.py) detects checkpoints using CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE), which only matches a literal ✅ Unicode character. Every workshop step actually uses the GitHub Markdown emoji shortcode ## :white_check_mark: Checkpoint (per repository convention documented in .github/workflows/guidelines.md). As a result, has_checkpoint evaluates False and checkpoint_quality scores 0.0 for all 30 main workshop steps, even though every step has a well-formed checkpoint section with checklist items. This silently depresses overall_score and the Learning KPI index for every step in the curriculum, masking real signal about which steps actually need checkpoint improvements.
Proposed change
Update CHECKPOINT_RE to also match the :white_check_mark: shortcode form, e.g.:
CHECKPOINT_RE = re.compile(r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE)
Re-run the assessment script against the full workshop/ directory and confirm checkpoint_quality scores now reflect each step's actual checklist quality (checklist item count, presence of recovery/troubleshooting guidance, etc.) rather than a uniform 0.0.
Failure mode classification
Learning barrier (measurement defect) — this is not a learner-facing instructional gap; it is a rubric detection bug that misrepresents real instructional quality. Fixing it corrects the Learning KPI index measurement itself rather than changing any workshop content.
Quantitative guardrail
Current cohort-wide impact:
checkpoint_qualitymean across all 30 steps: 0.0/10 (should reflect real variation once fixed)- Cohort-wide Learning KPI index: 2.88/10 — abnormally low because 2.0× weight is applied to a dimension that is uniformly zero
- Example step
07d-confirm-model-access.md:overall_score6.25/10, learning KPI index currently 3.65/10 using the incorrect checkpoint_quality=0.0
This change should raise checkpoint_quality (and therefore overall_score and the Learning KPI index) for every step whose checkpoint section already has real content — it must not be used as a pretext to avoid separately improving steps whose checkpoints are genuinely weak (e.g., steps lacking any recovery guidance, per the companion 04-github-actions-intro.md issue).
Acceptance criteria
- The shared curriculum quantitative assessment
overall_scorestays flat or improves for every step after the regex fix (no step should regress) - The Learning KPI index
(2.0 × active_learning + 2.0 × checkpoint_quality + 1.5 × scaffolding) / 5.5is recomputed for all 30 steps and the cohort mean rises to reflect real checkpoint quality, no longer uniformly suppressed by the detection bug - Existing checkpoint checklists, hands-on practice, and scaffolding content are left unchanged — this issue only touches the measurement script, not workshop content
- Unit test added/updated in the assessment script's test suite covering the
:white_check_mark:shortcode form
Suggested owner
copilot coding agent (contained, mechanical regex fix with clear acceptance criteria)
Related to #4172
Generated by 🔬 Workshop Student Simulator · copilot · auto · 223.6 AIC · ⌖ 20.5 AIC · ⊞ 15.1K · ◷
- expires on Oct 5, 2026, 7:37 AM UTC
- 主要言語
- JavaScript
- スター
- 55
- フォーク
- 36
- 平均マージ
- 2日 6時間
- マージ済み PR(30日)
- 18
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
githubnext/gh-aw-workshop のほかの issue
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 83/100
githubnext/gh-aw-workshop#4824 ·
メンテナーはふだん 1 日以内に返信
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 84/100
githubnext/gh-aw-workshop#4803 ·
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
githubnext/gh-aw-workshop#4802 ·
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
githubnext/gh-aw-workshop#4800 ·
メンテナーはふだん 1 日以内に返信
-
documentation guidelines
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
githubnext/gh-aw-workshop#4670 ·
メンテナーはふだん 1 日以内に返信
githubnext/gh-aw-workshop の issue をすべて見る
似ている issue
-
documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
PhyberApex/slds-json-schema-renderer#372 ·
メンテナーはふだん 1 日以内に返信
-
usage: a custom provider's balance meters ("…%" in the balance path) ignore the Left/Used switchオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 1 日以内に返信
-
[BUG] rag: sentence content can cross the reported sentence boundaries対応中かも @LJK-ikun が今日担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
ericcornelissen/depreman#591 ·
メンテナーはふだん 1 日以内に返信
-
bug/1-unconfirmed kind/bug
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信