[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: shortcode, scoring 93/95 pages as missing checkpo
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Accessibilité débutants
- 85/100
Piste de recherche
Commencez dans .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py : CHECKPOINT_RE à la ligne 10 et l'expression régulière de scaffolding vers la ligne 204. Élargissez chaque motif pour accepter les shortcodes :white_check_mark: et :clipboard: en plus de l'emoji, et vérifiez les autres expressions régulières d'emoji du fichier. Ajoutez des tests unitaires pour les deux formes, puis relancez l'évaluation sur workshop/ et confirmez que has_checkpoint vaut true pour workshop/04-github-actions-intro.md.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (corpus mean: 6.06)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 93/95 learning pages | present, ≥ 4 items → 10 | −10 |
| scaffolding | 5.0 on most pages | "Before You Start" present → 10 | −5 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE (line 10) matches the literal ✅ character and the scaffolding check (line 204) matches the literal 📋. Workshop pages write ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start, so both checks fail on nearly every page.
Evidence (quoted from the file):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
Pages such as workshop/04-github-actions-intro.md (line 138) contain ## :white_check_mark: Checkpoint with 5 checklist items, yet the rubric reports has_checkpoint: false and checkpoint_quality: 0.0. workshop/side-quest-01-02-environment-reference.md has both a Checkpoint and a :clipboard: Before You Start section, but is reported as missing both. The lowest-ranked pages in the scorecard are therefore mostly ranked by this false negative.
Learning Science Rationale:
Valid measurement is a precondition for acting on rubric results. Cognitive Load Theory and formative-assessment research both favour checkpoints, so a rubric that scores them as absent sends authors toward redundant "fixes" and masks real weaknesses such as concept overload. A score driven mostly by a regex mismatch cannot be used to prioritise curriculum work.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint". Update the scaffolding regex near line 204 to match both "📋" and ":clipboard:" before "Before You Start", and also check other emoji-based regexes in the file (e.g. :dart:, :pencil2:) for the same problem. Add unit tests covering both forms. Re-run the assessment against workshop/ and confirm that has_checkpoint is true for pages with a checkpoint section, then record the new corpus mean.
Expected Score After Fix: corpus mean ≈ 7.5+ / 10.0, with real findings (long, concept-heavy pages) surfacing.
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~49 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Nov 15, 2026, 7:04 AM UTC
- Langage dominant
- JavaScript
- Étoiles
- 62
- Forks
- 43
- Merge moyen
- 11 h 26 min
- PR mergées (30 j)
- 13
Préparer son environnement
Lance le conteneur de développement du projet dans votre navigateur, avec votre propre compte GitHub.
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de githubnext/gh-aw-workshop
-
[workshop-sim] Improve: Provide a concrete example and activity checks in agentic intro (step 5)Ouvertefeedback simulation workshop
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
githubnext/gh-aw-workshop#5715 ·
Les mainteneurs répondent en général sous 1 jour
-
curriculum documentation quality
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
githubnext/gh-aw-workshop#5713 ·
Les mainteneurs répondent en général sous 1 jour
-
curriculum documentation quality
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
githubnext/gh-aw-workshop#5711 ·
Les mainteneurs répondent en général sous 1 jour
-
curriculum documentation quality
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
githubnext/gh-aw-workshop#5699 ·
Les mainteneurs répondent en général sous 1 jour
-
curriculum documentation quality
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
githubnext/gh-aw-workshop#5700 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de githubnext/gh-aw-workshop
Issues similaires
-
could-have reliability
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
License.md is missing copyrightOuvertebug
Difficulté 1/5 Moins d'une heure Accessibilité débutants 65/100
Les mainteneurs répondent en général sous 1 jour
-
Negative values skip k/M abbreviation and medium decimal format on line, stacked-area, and tooltipOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
britecharts/britecharts#1255 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
DrozmotiX/ioBroker.sourceanalytix#1309 ·
Les mainteneurs répondent en général sous 1 jour