[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: shortcode, 93/95 pages scored 0

Ouverte Adaptée aux débutants
#5,997 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
2/5
Temps estimé
1-3 heures
Accessibilité débutants
78/100
Type d'issue
Bug
Clarté
Clairement spécifiée
Activité
Active
Stack technique
python
Domaine
tooling

Piste de recherche

Ouvre .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py et repère CHECKPOINT_RE ainsi que la détection du scaffolding / de la section "Before You Start" ; c'est là que se trouvent les motifs réservés aux emojis. Élargis les deux pour accepter les formes shortcode de GitHub (:white_check_mark:, :clipboard:), puis mets à jour ou ajoute les tests qui les couvrent. C'est terminé lorsque, en relançant l'évaluation sur workshop/, workshop/04-github-actions-intro.md signale has_checkpoint: true avec un checkpoint_quality non nul, et que la liste des constats ne signale plus missing_checkpoint sur les pages qui en ont un.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects all workshop/*.md)
Overall Score: corpus mean 6.06 / 10.0 (artificially depressed)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 on 93/95 pages ≥ 10 with ≥ 4 items -10
scaffolding 5.0 on most pages 10 when "Before You Start" present -5

Root Cause (≤ 2 sentences):
CHECKPOINT_RE is ##\s+✅\s*Checkpoint, but workshop pages (per AGENTS.md conventions) write ## :white_check_mark: Checkpoint; the same applies to :clipboard: Before You Start. As a result checkpoint_quality and scaffolding are mis-scored and missing_checkpoint is flagged on pages that have valid checkpoints.

Evidence (quoted from the file):

:white_check_mark: Checkpoint
  • You can identify on, jobs, and steps in a workflow file

(from workshop/04-github-actions-intro.md, which the rubric reports as has_checkpoint: false, checkpoint_quality: 0.0)

Learning Science Rationale:
Metrics only support instructional decisions if they measure what they claim to. Formative-assessment research (Black & Wiliam) values frequent check-for-understanding points, and this workshop has them; a false "missing checkpoint" signal sends effort toward non-problems and masks real weaknesses such as low activity density and long pages.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to also match the GitHub shortcode form, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the scaffolding/"Before You Start" detection to accept both ":clipboard:" and "📋" prefixes. Add or update tests, re-run the assessment against workshop/, and confirm that pages such as 04-github-actions-intro.md now report has_checkpoint=true and checkpoint_quality>0. Then re-check the findings list for pages that were flagged only because of missing_checkpoint.

Expected Score After Fix: corpus mean about 7.3 / 10.0 (most pages gain ~+10 on checkpoint_quality ×2.0 weight and +5 on scaffolding ×1.5 weight, over total weight 10)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~40 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 23, 2026, 3:32 AM UTC
Langage dominant
JavaScript
Étoiles
61
Forks
43
Merge moyen
10 h 38 min
PR mergées (30 j)
12

Préparer son environnement

Ouvrir dans Codespaces

Lance le conteneur de développement du projet dans votre navigateur, avec votre propre compte GitHub.

  • Aucun Dockerfile ni fichier Docker Compose
  • Aucun modèle de pull request
  • Aucun guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de githubnext/gh-aw-workshop

Toutes les issues de githubnext/gh-aw-workshop

Issues similaires

Plus d'issues JavaScript

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.