[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: and :clipboard: headings, penalising all pages

Ouverte Adaptée aux débutants
  • Quelque chose ne va pas ?
#5,437 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 3 jours

Personne n'a encore pris cette issue.

Évaluation

Difficulté
2/5
Temps estimé
1-3 heures
Accessibilité débutants
77/100
Type d'issue
Bug
Clarté
Clairement spécifiée
Activité
Active
Stack technique
github-actions, python
Domaine
testing, tooling

Piste de recherche

Commence par .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, en particulier CHECKPOINT_RE et la détection des prérequis et de activity:checkpoint qu’il utilise ; examine les tests unitaires existants. Mets à jour les motifs pour reconnaître à la fois les titres avec des emojis littéraux et ceux avec des shortcodes GitHub, tout en conservant ## Prerequisites. Exécute ensuite l’évaluation sur workshop/*.md. Le travail est terminé lorsque les titres correspondants sont détectés et que les faux indicateurs missing_checkpoint sont supprimés ; ne modifie pas le contenu des ateliers.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (threshold 5.52)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 92 of 94 pages ≥ 4 items → 10 −10
scaffolding 5.0 on 94 of 94 pages 10 when "Before You Start" present −5

Root Cause (≤ 2 sentences):
CHECKPOINT_RE = r"##\s+✅\s*Checkpoint" and the prereq regex ##\s+📋\s*Before You Start match only literal emoji, but workshop files use GitHub shortcodes (## :white_check_mark: Checkpoint, ## :clipboard: Before You Start). Every page loses about 2.0 × 10 (checkpoint) and 1.5 × 5 (scaffolding) weighted points, so scores cluster at 5–7 and the "missing_checkpoint" flag is meaningless.

Evidence (quoted from the file):

CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE) (the page workshop/side-quest-11-06-anthropic-key.md has ## :white_check_mark: Checkpoint with 5 checklist items, yet has_checkpoint is false)

Learning Science Rationale:
Valid measurement is a precondition for acting on Bloom's-aligned assessment and cognitive-load findings: retrieval-practice checkpoints are a key scaffolding feature (Roediger and Karpicke's testing effect), and a rubric that scores them as absent on every page cannot discriminate good from poor steps. The false negatives also hide real gaps and produce spurious trend swings (for example the −2.00 "declines" on side-quest-11-09-agent-session-phases.md and side-quest-12-01-iterate-agent-output.md).

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE and the has_prereq_section regexes so they accept both the literal emoji and the GitHub shortcode forms: "## ✅ Checkpoint" / "## :white_check_mark: Checkpoint", and "## 📋 Before You Start" / "## :clipboard: Before You Start" (also keep "## Prerequisites"). Also update the Bloom "activity:checkpoint" detection that uses CHECKPOINT_RE. Add or update unit tests if present, rerun the assessment over workshop/*.md, and confirm has_checkpoint is true for pages with a Checkpoint heading and that the corpus mean rises accordingly. Do not edit workshop content.

Expected Score After Fix: ~7.5 / 10.0 corpus mean (checkpoint_quality and scaffolding recovered on most pages)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~46 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 8, 2026, 3:30 AM UTC
Langage dominant
JavaScript
Étoiles
58
Forks
40
Merge moyen
4 j 4 h
PR mergées (30 j)
8

Préparer son environnement

Ouvrir dans Codespaces

Lance le conteneur de développement du projet dans votre navigateur, avec votre propre compte GitHub.

  • Aucun Dockerfile ni fichier Docker Compose
  • Aucun modèle de pull request
  • Aucun guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de githubnext/gh-aw-workshop

Toutes les issues de githubnext/gh-aw-workshop

Issues similaires

Plus d'issues JavaScript

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.