[curriculum-eval] curriculum_assessment.py: checkpoint_quality and scaffolding — regexes miss :shortcode: headings, scoring 92 pages as 0

Aperta Adatta ai principianti
  • Qualcosa non va?
#5,659 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
78/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python
Ambito
devtools

Direzione di ricerca

Inizia da .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py in CHECKPOINT_RE, poi nella regex di scaffolding “Before You Start” vicino alla riga 204. Fai in modo che entrambe accettino le forme shortcode :white_check_mark: e :clipboard:, e verifica che gli elementi della checklist sotto il titolo del checkpoint vengano conteggiati. Il lavoro è completato quando workshop/04-github-actions-intro.md ottiene has_checkpoint: true e un test unitario copre entrambe le forme di intestazione.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a (rubric defect; corpus mean 6.06)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 92/94 pages ≥ 4 items → 10 −10
scaffolding 5.0 on 94/94 pages section present → 10 −5

Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches ##\s+✅\s*Checkpoint and the scaffolding check matches ##\s+📋\s*Before You Start. The workshop files write these headings as ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start, so they are never detected.

Evidence (quoted from the file):

CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
(workshop/04-github-actions-intro.md) ## :white_check_mark: Checkpoint followed by 5 checklist items, scored has_checkpoint: false.

Learning Science Rationale:
Scorecards only guide curriculum improvement if the metrics are valid. A constant 0 on a 2.0-weight dimension adds a fixed 2.0-point penalty to almost every page. This hides real differences in cognitive load (Sweller) and activity density, and it triggers false missing_checkpoint flags that send agents to fix things that are not broken.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE so it matches both the emoji and the shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint". Update the "Before You Start" scaffolding regex (around line 204) to accept both 📋 and :clipboard:. Also accept "Prerequisites". Re-run the assessment and confirm has_checkpoint is true for pages that contain "## :white_check_mark: Checkpoint", and add a unit test for both heading forms. Verify checklist_items counts the checkpoint-section items for checkpoint_quality.

Expected Score After Fix: corpus mean rises from 6.06 to roughly 7.5 / 10.0, with missing_checkpoint flags dropping to the 6 pages that really lack one.

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~41 AIC · ⌖ ~2 AIC · ⊞ 5K · ◷

  • expires on Nov 14, 2026, 3:32 AM UTC
Lingua principale
JavaScript
Stelle
62
Fork
43
Merge medio
1g 5h
PR unite (30g)
9

Preparare l'ambiente

Apri in Codespaces

Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.

  • Nessun Dockerfile né file Docker Compose
  • Nessun modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di githubnext/gh-aw-workshop

Tutte le issue di githubnext/gh-aw-workshop

Issue simili

Altre issue su JavaScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.