[workshop-sim] Repair: Fix CHECKPOINT_RE regex to match :white_check_mark: shortcode so checkpoint_quality is scored correctly
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 84/100
- Tipo di issue
- Bug
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- python
- Ambito
- testing-qa, tooling
Direzione di ricerca
Inizia da .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py e ispeziona CHECKPOINT_RE e il relativo flusso di valutazione. Esegui la valutazione sulla directory workshop/, aggiungi o aggiorna la copertura della suite di test dello script di valutazione per ✅ e verifica che tutti i 30 passaggi vengano ricalcolati senza regressioni, mantenendo invariato il contenuto di workshop/.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem statement
The shared curriculum quantitative assessment script (.github/skills/curriculum-quantitative-assessment/curriculum_assessment.py) detects checkpoints using CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE), which only matches a literal ✅ Unicode character. Every workshop step actually uses the GitHub Markdown emoji shortcode ## :white_check_mark: Checkpoint (per repository convention documented in .github/workflows/guidelines.md). As a result, has_checkpoint evaluates False and checkpoint_quality scores 0.0 for all 30 main workshop steps, even though every step has a well-formed checkpoint section with checklist items. This silently depresses overall_score and the Learning KPI index for every step in the curriculum, masking real signal about which steps actually need checkpoint improvements.
Proposed change
Update CHECKPOINT_RE to also match the :white_check_mark: shortcode form, e.g.:
CHECKPOINT_RE = re.compile(r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE)
Re-run the assessment script against the full workshop/ directory and confirm checkpoint_quality scores now reflect each step's actual checklist quality (checklist item count, presence of recovery/troubleshooting guidance, etc.) rather than a uniform 0.0.
Failure mode classification
Learning barrier (measurement defect) — this is not a learner-facing instructional gap; it is a rubric detection bug that misrepresents real instructional quality. Fixing it corrects the Learning KPI index measurement itself rather than changing any workshop content.
Quantitative guardrail
Current cohort-wide impact:
checkpoint_qualitymean across all 30 steps: 0.0/10 (should reflect real variation once fixed)- Cohort-wide Learning KPI index: 2.88/10 — abnormally low because 2.0× weight is applied to a dimension that is uniformly zero
- Example step
07d-confirm-model-access.md:overall_score6.25/10, learning KPI index currently 3.65/10 using the incorrect checkpoint_quality=0.0
This change should raise checkpoint_quality (and therefore overall_score and the Learning KPI index) for every step whose checkpoint section already has real content — it must not be used as a pretext to avoid separately improving steps whose checkpoints are genuinely weak (e.g., steps lacking any recovery guidance, per the companion 04-github-actions-intro.md issue).
Acceptance criteria
- The shared curriculum quantitative assessment
overall_scorestays flat or improves for every step after the regex fix (no step should regress) - The Learning KPI index
(2.0 × active_learning + 2.0 × checkpoint_quality + 1.5 × scaffolding) / 5.5is recomputed for all 30 steps and the cohort mean rises to reflect real checkpoint quality, no longer uniformly suppressed by the detection bug - Existing checkpoint checklists, hands-on practice, and scaffolding content are left unchanged — this issue only touches the measurement script, not workshop content
- Unit test added/updated in the assessment script's test suite covering the
:white_check_mark:shortcode form
Suggested owner
copilot coding agent (contained, mechanical regex fix with clear acceptance criteria)
Related to #4172
Generated by 🔬 Workshop Student Simulator · copilot · auto · 223.6 AIC · ⌖ 20.5 AIC · ⊞ 15.1K · ◷
- expires on Oct 5, 2026, 7:37 AM UTC
- Lingua principale
- JavaScript
- Stelle
- 51
- Fork
- 23
- Merge medio
- 11h 32m
- PR unite (30g)
- 22
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di githubnext/gh-aw-workshop
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
githubnext/gh-aw-workshop#4251 ·
I maintainer di solito rispondono entro 1 giorno
-
feedback simulation workshop
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
githubnext/gh-aw-workshop#4249 ·
I maintainer di solito rispondono entro 1 giorno
-
agentic-workflows documentation workflow-editor
Difficoltà 1/5 1-3 ore Idoneità per principianti 65/100
githubnext/gh-aw-workshop#4246 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 94/100
githubnext/gh-aw-workshop#4244 ·
I maintainer di solito rispondono entro 1 giorno
-
[workshop-sync] workshop/19-research-driven-training-node.md: broken LLMs.txt raw GitHub URLsApertadocumentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
githubnext/gh-aw-workshop#4242 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di githubnext/gh-aw-workshop
Issue simili
-
[aw] Upgrade availableApertaagentic-workflows
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
githubnext/gh-aw-cao#16599 ·
I maintainer di solito rispondono entro 1 giorno
-
effort:low impact:medium status: auto-triaged UI / Studio
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
mastra-ai/mastra#26124 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
allow igdb.comAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 61/100
AdguardTeam/HostlistsRegistry#939 ·
I maintainer di solito rispondono entro 1 giorno
-
product / databases
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
smansfield635-create/smansfield635-create.github.io#5818 · 4 commenti ·
I maintainer di solito rispondono entro 1 giorno