[curriculum-eval] curriculum_assessment.py: checkpoint_quality and scaffolding — regexes miss :shortcode: headings (92/94 false negatives)

Aperta Adatta ai principianti
  • Qualcosa non va?
#5,476 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 3 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
82/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
github-actions, python
Ambito
testing-qa

Direzione di ricerca

Inizia da .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, leggendo CHECKPOINT_RE e il rilevamento di has_prereq_section; poi esamina i test di valutazione pertinenti. Aggiungi test per le intestazioni con emoji e shortcode, inclusa l’intestazione «Prerequisites», ed esegui la valutazione per confermare che le sezioni di checkpoint e dei prerequisiti vengano rilevate nei file dei workshop senza modificarne il contenuto.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (all pages depressed by this bug)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 92/94 pages ≥ 10 when ≥ 4 items present −10.0
scaffolding 5.0 on 94/94 pages 10 when "Before You Start" present −5.0

Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches ##\s+✅\s*Checkpoint and the prerequisite regex matches ##\s+📋\s*Before You Start, but workshop files use the GitHub shortcode form (## :white_check_mark: Checkpoint, ## :clipboard: Before You Start). A grep shows 92 files have the checkpoint heading and 87 have the Before You Start heading, yet the rubric reports 2 and 0.

Evidence (quoted from the file):

## :white_check_mark: Checkpoint (e.g. workshop/04-github-actions-intro.md, 5 checklist items, scored checkpoint_quality: 0.0)

Learning Science Rationale:
A measurement instrument must be valid before its output can drive instructional decisions. Checkpoints support retrieval practice and formative feedback, and scaffolding supports Vygotsky-style staged support. Reporting them as absent sends authors toward adding duplicate sections, and swings in score history (two pages dropped exactly 2.00 points) reflect heading syntax, not learning quality.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the has_prereq_section detection to match r"##\s+(?:📋|:clipboard:)\s*Before You Start" as well as "## Prerequisites". Also check the bloom "evaluate" cue that uses the checkpoint regex. Add unit tests with one emoji and one shortcode sample for each. Re-run the assessment and confirm ~92 pages report has_checkpoint=true and ~87 report has_prereq_section=true. Do not edit workshop content.

Expected Score After Fix: 7.8 / 10.0 (corpus mean, estimated +1.7 from checkpoint and scaffolding recovery)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~46 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 9, 2026, 5:05 AM UTC
Lingua principale
JavaScript
Stelle
58
Fork
40
Merge medio
4g 4h
PR unite (30g)
8

Preparare l'ambiente

Apri in Codespaces

Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.

  • Nessun Dockerfile né file Docker Compose
  • Nessun modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di githubnext/gh-aw-workshop

Tutte le issue di githubnext/gh-aw-workshop

Issue simili

Altre issue su JavaScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.