[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: shortcode, 92/94 pages falsely flagged
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 85/100
Direzione di ricerca
Leggi .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py e individua CHECKPOINT_RE e il prereq regex. Aggiornali per far corrispondere sia le forme di intestazione con emoji sia quelle con shortcode GitHub come descritto, poi riesegui la valutazione su workshop/ e conferma che has_checkpoint sia true per 04-github-actions-intro.md con media del corpus in aumento. Aggiungi un test unitario per entrambe le forme di intestazione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (depressed by scorer defect)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 92/94 pages | ≥ 7.5 | −7.5 |
| scaffolding | 5.0 on most pages | 10 | −5.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches ##\s+✅\s*Checkpoint and the prerequisite check matches ##\s+📋\s*Before You Start, but workshop files write these headings with GitHub shortcodes (## :white_check_mark: Checkpoint, ## :clipboard: Before You Start). Every page is therefore scored as missing both, which drags scores by about 2–3 points and triggers missing_checkpoint on 92 of 94 pages.
Evidence (quoted from the file):
workshop/04-github-actions-intro.mdline 138:## :white_check_mark: Checkpointfollowed by 5 checklist items — yet its metrics reporthas_checkpoint: false,checkpoint_quality: 0.0.
Scorer: CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
Learning Science Rationale:
Valid measurement underpins any evidence-based review: a rubric with a systematic false negative produces misleading prioritisation (for example, the −2.00 "declines" on side-quest-11-09 and side-quest-12-01 likely reflect heading-format changes rather than learning quality). Fixing the detector lets Cognitive Load, Mayer's segmenting and retrieval-practice signals (checkpoints) be evaluated on real differences.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the has_prereq_section regex to match r"##\s+(?:📋|:clipboard:)\s*Before You Start" (also accept a "Prerequisites" heading). Also check CHECKLIST_RE and any other emoji-dependent patterns for shortcode equivalents. Re-run the assessment against workshop/ and confirm has_checkpoint is true for 04-github-actions-intro.md and that corpus mean rises. Add a small unit test covering both heading forms.
Expected Score After Fix: ~8.3 / 10.0 corpus mean (checkpoint +2.0 weight × ~8 and scaffolding +1.5 × 5 on most pages)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~42 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Oct 26, 2026, 5:07 AM UTC
- Lingua principale
- JavaScript
- Stelle
- 55
- Fork
- 36
- Merge medio
- 2g 8h
- PR unite (30g)
- 17
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di githubnext/gh-aw-workshop
-
feedback simulation workshop
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
githubnext/gh-aw-workshop#5009 ·
I maintainer di solito rispondono entro 1 giorno
-
feedback simulation workshop
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
githubnext/gh-aw-workshop#5008 ·
I maintainer di solito rispondono entro 1 giorno
-
feedback simulation workshop
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
githubnext/gh-aw-workshop#5007 ·
I maintainer di solito rispondono entro 1 giorno
-
dedup documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
githubnext/gh-aw-workshop#5003 ·
I maintainer di solito rispondono entro 1 giorno
-
dedup documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 80/100
githubnext/gh-aw-workshop#5004 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di githubnext/gh-aw-workshop
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
I maintainer di solito rispondono entro 1 giorno
-
bug needs-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
apex-dev-tools/apex-log-parser#199 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement good first issue hacktoberfest help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
ReadBufferStream.addBuffer adds the full ArrayBuffer of a typed array view, and ignores its byteOffsetForse già presa @wayfarer3130 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Expo 57 example: pnpm install fails with ERR_PNPM_TRUST_DOWNGRADEForse già presa @github-actions l’ha presa oggi. Apertabug react-native team/client-libraries
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
PostHog/posthog-js#5442 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno