[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: and :clipboard: shortcodes

Offen Anfängerfreundlich
#6,000 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Anfängerfreundlichkeit
80/100
Issue-Typ
Bug
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
python
Bereich
tooling

Rechercherichtung

Beginne in .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py bei der Definition von CHECKPOINT_RE und verfolge dann jede Stelle, an der diese Mustergruppe wiederverwendet wird: den has_prereq_section-Regex, den Zähler für Checklisten-Einträge und den Bloom-Hinweis activity:checkpoint. Erfasse sowohl das literale Emoji als auch die Shortcode-Formen :white_check_mark: / :clipboard:, führe dann die Bewertung erneut über workshop/*.md aus und bestätige, dass workshop/04-github-actions-intro.md has_checkpoint: true mit Scaffolding 10 sowie den neuen Korpus-Mittelwert meldet.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects all workshop/*.md)
Overall Score: 5.4 / 10.0 for the 5 flagged pages (corpus mean: 6.06)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 ≥ 10.0 (≥ 4 items) −10.0
scaffolding 5.0 10.0 −5.0

Root Cause (≤ 2 sentences):
CHECKPOINT_RE = r"##\s+✅\s*Checkpoint" and the prerequisite regex ##\s+📋\s*Before You Start require literal emoji, but the workshop writes ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Every flagged page reports has_checkpoint: false and checkpoint_quality: 0.0 even when it has 5–7 checklist items.

Evidence (quoted from the file):

## :white_check_mark: Checkpoint / - [ ] You labeled all five parts of the sample workflow above ... (workshop/04-github-actions-intro.md, lines 138–144), which the scorer reports as has_checkpoint: false.

Learning Science Rationale:
Valid assessment depends on instruments that measure the intended construct. A false 0 for checkpoint quality pushes learners' retrieval-practice checkpoints, which are the strongest formative-assessment signal in the lesson, out of view, and sends authors to fix content that is not broken. Fixing the scorer restores a reliable feedback loop for Bloom-aligned improvements.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the literal emoji and the shortcode form (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE), and update the has_prereq_section regex to match "## 📋 Before You Start" and "## :clipboard: Before You Start" as well as "## Prerequisites". Also check the checklist-item counting and the "activity:checkpoint" Bloom cue use the same pattern. Re-run the assessment, confirm that 04-github-actions-intro.md now has has_checkpoint=true and scaffolding=10, and report the new corpus mean and the updated findings list.

Expected Score After Fix: 6.9 / 10.0 for 04-github-actions-intro.md (corpus mean expected to rise by roughly 1–2 points)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~39 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 23, 2026, 4:03 AM UTC
Vorherrschende Sprache
JavaScript
Sterne
61
Forks
43
Ø Merge
10 Std. 38 Min.
Gemergte PRs (30 T.)
12

Entwicklungsumgebung

In Codespaces öffnen

Startet den Dev-Container des Projekts im Browser, mit Ihrem eigenen GitHub-Konto.

  • Kein Dockerfile und keine Docker-Compose-Datei
  • Keine Pull-Request-Vorlage
  • Kein Beitragsleitfaden

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus githubnext/gh-aw-workshop

Alle Issues in githubnext/gh-aw-workshop

Ähnliche Issues

Weitere Issues zu JavaScript

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.