[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: headings, 92 pages falsely scored 0

Aperta Adatta ai principianti
  • Qualcosa non va?
#5,367 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 3 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
77/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
github-actions, python
Ambito
testing-qa

Direzione di ricerca

Inizia da .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, soprattutto da CHECKPOINT_RE e dall’espressione regolare che rileva i prerequisiti. Confronta questi pattern con le intestazioni citate nella issue e controlla gli eventuali test o fixture correlati. Il lavoro è concluso quando il rilevatore riconosce le intestazioni shortcode e la pagina del workshop citata riporta correttamente il checkpoint; la issue chiede anche di rieseguire la valutazione su workshop/*.md.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects every workshop/*.md)
Overall Score: n/a — rubric defect (corpus mean: 6.06)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 92/94 learning pages ≥ 7.5 (≥ 3 items) −7.5 or more
scaffolding 5.0 on pages that have "Before You Start" (e.g. side-quest-01-02-environment-reference.md) 10 −5.0

Root Cause (≤ 2 sentences):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE) only matches the literal emoji, but workshop pages use the :white_check_mark: shortcode per repo conventions. The scorer therefore reports has_checkpoint: false and missing_checkpoint for pages that do have checkpoints, depressing the corpus mean by up to ~2 points (weight 2.0).

Evidence (quoted from the file):

## :white_check_mark: Checkpoint — workshop/04-github-actions-intro.md line 138, which lists five checklist items yet is reported as has_checkpoint: false, checkpoint_quality: 0.0.

Learning Science Rationale:
Valid measurement is a precondition for acting on rubric output. Formative-assessment research (Black & Wiliam) stresses that checkpoints give learners retrieval practice and feedback; a metric that cannot see them sends authors to add redundant checkpoints, or to ignore the signal entirely. Fixing the detector restores the rubric's ability to discriminate genuinely weak checkpoints (few or vague items) from present ones, and also exposes that history deltas such as the −2.00 drops on side-quest-11-09-agent-session-phases.md and side-quest-12-01-iterate-agent-output.md are likely heading-format changes rather than real content regressions.

Improvement Prompt (for an agent):

Edit .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py:
1. Change CHECKPOINT_RE to r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint" (case-insensitive).
2. Verify the prerequisite/scaffolding regex also matches "## :clipboard: Before You Start" and "Prerequisites" with the :clipboard: shortcode; fix if not (side-quest-01-02-environment-reference.md has this heading but has_prereq_section is false).
3. Update any unit tests/fixtures and re-run the assessment over workshop/*.md; confirm has_checkpoint is true for workshop/04-github-actions-intro.md and that the number of pages flagged missing_checkpoint drops from 92 to only pages genuinely lacking one.
4. Regenerate score-history baselines if they are cached so trend deltas stay meaningful.

Expected Score After Fix: 7.5 / 10.0 (corpus mean)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~43 AIC · ⌖ ~2 AIC · ⊞ 5K · ◷

  • expires on Nov 6, 2026, 11:04 AM UTC
Lingua principale
JavaScript
Stelle
58
Fork
40
Merge medio
4g 4h
PR unite (30g)
8

Preparare l'ambiente

Apri in Codespaces

Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.

  • Nessun Dockerfile né file Docker Compose
  • Nessun modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di githubnext/gh-aw-workshop

Tutte le issue di githubnext/gh-aw-workshop

Issue simili

Altre issue su JavaScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.