[curriculum-eval] curriculum_assessment.py: checkpoint_quality and scaffolding — regexes miss :white_check_mark: / :clipboard: shortcodes
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 82/100
Direzione di ricerca
Inizia da .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py ed esamina CHECKPOINT_RE e has_prereq_section; poi verifica se esistono già dei test. Confronta le corrispondenze della regex con i titoli shortcode mostrati nell’issue ed esegui la valutazione su workshop/*.md. Il lavoro è completato quando vengono rilevati entrambi i titoli shortcode e ## Prerequisites continua a corrispondere.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (threshold 5.52) — scores are systematically understated
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 92/94 pages | ≥ 4 items → 10.0 | up to −10.0 (weight 2.0) |
| scaffolding | 5.0 on 94/94 pages | 10.0 when section present | −5.0 (weight 1.5) |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE requires the literal ✅ emoji and has_prereq_section requires the literal 📋 emoji, but workshop pages use the GitHub shortcodes :white_check_mark: and :clipboard:. Every page therefore loses up to ~2.0 + 0.75 weighted points, and missing_checkpoint flags are false positives.
Evidence (quoted from the file):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)...re.search(r"##\s+📋\s*Before You Start", raw, re.IGNORECASE)
while workshop/04-github-actions-intro.md contains ## :clipboard: Before You Start and ## :white_check_mark: Checkpoint with 5 checklist items.
Learning Science Rationale:
Metrics used to steer instructional design must be valid measures of the construct they claim to measure. Retrieval-practice checkpoints (Roediger & Karpicke) and advance-organizer scaffolding (Ausubel) are both present in the workshop, but the rubric reports them as absent, which would push agents to "fix" content that is not broken and hides real issues (length, concept load).
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update has_prereq_section so "Before You Start" matches both "📋" and ":clipboard:" (and still matches "## Prerequisites"). Add/extend tests if any exist. Re-run the assessment over workshop/*.md and confirm has_checkpoint is true for pages containing "## :white_check_mark: Checkpoint" and has_prereq_section is true for pages containing "## :clipboard: Before You Start". Do not edit workshop content.
Expected Score After Fix: corpus mean ≈ 7.5–8.0 / 10.0 (checkpoint and scaffolding dimensions recover for nearly all pages)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~47 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Oct 30, 2026, 3:35 AM UTC
- Lingua principale
- JavaScript
- Stelle
- 56
- Fork
- 40
- Merge medio
- 2g 15h
- PR unite (30g)
- 14
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di githubnext/gh-aw-workshop
-
feedback simulation workshop
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
githubnext/gh-aw-workshop#5157 ·
I maintainer di solito rispondono entro 1 giorno
-
feedback simulation workshop
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
githubnext/gh-aw-workshop#5156 ·
I maintainer di solito rispondono entro 1 giorno
-
[workshop-sync] workshop/side-quest-13-02-pr-summary-pattern.md: agent job uses write permissionApertadocumentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
githubnext/gh-aw-workshop#5153 ·
I maintainer di solito rispondono entro 1 giorno
-
[workshop-sync] workshop/side-quest-13-01-pr-labeler-pattern.md: agent job uses write permissionApertadocumentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
githubnext/gh-aw-workshop#5154 ·
I maintainer di solito rispondono entro 1 giorno
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
githubnext/gh-aw-workshop#5146 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di githubnext/gh-aw-workshop
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
danilogiles/enki-browser#113 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
I maintainer di solito rispondono entro 1 giorno
-
ux
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
evcc-io/evcc#35605 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
bug triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 95/100
weavefox/awesome-opc#29 ·
I maintainer di solito rispondono entro 1 giorno