[curriculum-eval] .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py: checkpoint_quality/scaffolding — emoji-only regex fa
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 88/100
- issue の種類
- バグ
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- python
- 領域
- testing-qa, tooling
調査の方向性
.github/skills/curriculum-quantitative-assessment/curriculum_assessment.py から始め、2つの見出し用正規表現を .github/workflows/guidelines.md と比較します。workshop/04-github-actions-intro.md、workshop/05-agentic-workflows-intro.md、workshop/side-quest-01-02-environment-reference.md を確認してから、コーパスメトリクスを再実行します。両方の絵文字見出しとショートコード見出しが検出され、ユニットテストまたはアサーションが両方の形式をカバーすれば完了です。
索引モデルが issue の本文から書いたものです。
説明
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: N/A — tooling defect, corpus-wide impact (affects 90–93 of 93 files)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 (90/93 files) | items × 2.5, capped at 10 | −up to 10.0 |
| scaffolding | 5.0 (93/93 files) | 10 if present | −5.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE and the prerequisite-section regex in curriculum_assessment.py require the literal emoji glyphs ✅ and 📋, but every workshop file follows the repository's own style guide (.github/workflows/guidelines.md) and uses the GitHub-supported shortcodes :white_check_mark: and :clipboard: instead. As a result, the rubric almost never detects checkpoints or "Before You Start" sections even when they are present and well-formed.
Evidence (quoted from the file):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
"has_prereq_section": bool(re.search(r"##\s+📋\s*Before You Start", raw, re.IGNORECASE) or re.search(r"##\s+Prerequisites", raw, re.IGNORECASE))
Verified against workshop/04-github-actions-intro.md, which contains ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start — both regexes return False/None on this real file, and checkpoint_quality/scaffolding are miscalculated across nearly the whole corpus (90/93 files show has_checkpoint: false; 93/93 show scaffolding: 5.0, the "absent" default).
Learning Science Rationale:
This is not a pedagogical defect but a measurement-validity problem: per classical test theory, a rubric that systematically fails to detect a construct it is designed to measure produces scores with near-zero construct validity for that dimension, and any downstream Bloom's/cognitive-load conclusions drawn from checkpoint_quality or scaffolding are unreliable until the detector is fixed. Correcting the regex is a prerequisite for trusting any future finding tied to these two dimensions.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, fix two regexes that only match literal emoji glyphs instead of the GitHub shortcode form used throughout workshop/*.md per .github/workflows/guidelines.md:
1. CHECKPOINT_RE currently requires a literal "✅" character. Update it to also match the shortcode form ":white_check_mark:", e.g.:
CHECKPOINT_RE = re.compile(r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE)
2. The has_prereq_section detection currently requires a literal "📋" character. Update it to also match the shortcode form ":clipboard:", e.g.:
re.search(r"##\s+(?:📋|:clipboard:)\s*Before You Start", raw, re.IGNORECASE)
After the fix, re-run the corpus metrics/rubric generation and confirm has_checkpoint and has_prereq_section are True for files that use the shortcode headings (spot check workshop/04-github-actions-intro.md, workshop/05-agentic-workflows-intro.md, and workshop/side-quest-01-02-environment-reference.md). Add a small unit test or assertion covering both the emoji and shortcode heading forms so this regression cannot reoccur.
Expected Score After Fix: Corpus mean checkpoint_quality and scaffolding scores are expected to rise substantially (simulated: the 5 lowest-scoring flagged files move from ~4.9–5.4 to ~7.7–8.2 / 10.0 once these two dimensions are correctly detected).
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · 84.8 AIC · ⌖ 7.78 AIC · ⊞ 9K · ◷
- expires on Sep 27, 2026, 8:49 AM UTC
- 主要言語
- JavaScript
- スター
- 51
- フォーク
- 23
- 平均マージ
- 8時間 30分
- マージ済み PR（30日）
- 21
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
githubnext/gh-aw-workshop のほかの issue
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
githubnext/gh-aw-workshop#4046 ·
メンテナーはふだん 1 日以内に返信
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
githubnext/gh-aw-workshop#4045 ·
メンテナーはふだん 1 日以内に返信
-
[workshop-sim] Improve: Add a worked example before Step 5c's independent classification practiceオープンfeedback simulation workshop
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
githubnext/gh-aw-workshop#4044 ·
メンテナーはふだん 1 日以内に返信
-
feedback simulation workshop
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
githubnext/gh-aw-workshop#4043 ·
メンテナーはふだん 1 日以内に返信
-
feedback simulation workshop
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
githubnext/gh-aw-workshop#4042 ·
メンテナーはふだん 1 日以内に返信
githubnext/gh-aw-workshop の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
daisy/a11y-meta-viewer#18 ·
-
good first issue status: needs triaging type: bug version: 2.0
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
medusajs/medusa#17094 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
browser: chrome package: @carbon/react package: styles
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
carbon-design-system/carbon#23567 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
clerk/javascript#10033 ·
メンテナーはふだん 1 日以内に返信
-
bug client p1
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信