[curriculum-eval] curriculum_assessment.py: checkpoint_quality — emoji-only regex scores shortcode checkpoints as missing
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 78/100
Direzione di ricerca
La correzione è in .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, nelle definizioni di CHECKPOINT_RE e della regex Before-You-Start, che riconoscono solo emoji letterali. Inizia leggendo questi due pattern e una pagina come workshop/04-github-actions-intro.md, che usa lo shortcode :white_check_mark:. È completato quando entrambe le regex accettano sia la forma emoji sia quella shortcode, nuovi unit test coprono entrambe e la nuova esecuzione riporta has_checkpoint come true per quella pagina.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.09 / 10.0 (all pages affected)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 90/93 pages | ≥ 7.5 (checkpoint with ≥ 3–4 items) | up to −10 |
| scaffolding | 5.0 on 93/93 pages | 10 | −5 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE (##\s+✅\s*Checkpoint) and the Before-You-Start regex (##\s+📋\s*Before You Start) require literal emoji, but workshop pages use GitHub shortcodes (## :white_check_mark: Checkpoint, ## :clipboard: Before You Start), so detection always fails. Result: every non-dispatcher page is penalised ~2.5–3 points of weighted score and findings such as missing_checkpoint are false positives.
Evidence (quoted from the file):
workshop/04-github-actions-intro.md: "## ✅ Checkpoint" followed by 5 checklist items — scoredhas_checkpoint: false,checkpoint_quality: 0.0.
Learning Science Rationale:
Valid measurement is a precondition for acting on Cognitive Load Theory and retrieval-practice findings: checkpoints are a retrieval-practice mechanism (Roediger & Karpicke), so a rubric that reports them absent misdirects effort toward pages that already comply and hides real gaps (e.g. only 3 pages truly lack checkpoints: 00-welcome, 01-prerequisites, 06-install-gh-aw).
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and shortcode forms: r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the "Before You Start" regex to r"##\s+(?:📋|:clipboard:)\s*Before You Start". Add unit tests covering both forms, rerun the assessment over workshop/*.md, and confirm has_checkpoint is true for pages like 04-github-actions-intro.md and has_prereq_section is true where "## :clipboard: Before You Start" exists. Also check other emoji-based regexes in the file for the same shortcode mismatch.
Expected Score After Fix: ~7.8 / 10.0 corpus mean (from 6.09)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · 25.5 AIC · ⌖ 0.831 AIC · ⊞ 10.4K · ◷
- expires on Oct 15, 2026, 6:54 AM UTC
- Lingua principale
- JavaScript
- Stelle
- 53
- Fork
- 35
- Merge medio
- 13h 50m
- PR unite (30g)
- 14
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di githubnext/gh-aw-workshop
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
githubnext/gh-aw-workshop#4569 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
githubnext/gh-aw-workshop#4568 ·
I maintainer di solito rispondono entro 1 giorno
-
accessibility bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
githubnext/gh-aw-workshop#4555 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
githubnext/gh-aw-workshop#4548 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 66/100
githubnext/gh-aw-workshop#4549 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di githubnext/gh-aw-workshop
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
code-yeongyu/oh-my-openagent#10172 ·
I maintainer di solito rispondono entro 1 giorno
-
Phase 2 PSA Capability & Career Profile
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
bcgov/digital-journeys#2310 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
nodejs/node#66743 · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement good first issue help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
OWASP/cve-lite-cli#1335 ·
I maintainer di solito rispondono entro 1 giorno
-
Channels status: needs triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
mastra-ai/mastra#27093 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno