[curriculum-eval] curriculum_assessment.py: checkpoint_quality and scaffolding — regex ignores :white_check_mark:/:clipboard: shortcodes
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 75/100
Direzione di ricerca
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, aggiorna CHECKPOINT_RE e le espressioni regolari has_prereq_section per far corrispondere sia intestazioni emoji che shortcode GitHub. Controlla altre espressioni regolari basate su emoji nel file, poi riesegui la valutazione su workshop/*.md. Aggiungi un test unitario che copra entrambe le forme; fatto significa che has_checkpoint è vero per le sezioni shortcode e i test passano.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (this issue affects 92 of 94 pages)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 (92/94 pages) | ≥ 10 with ≥ 4 items | −10.0 |
| scaffolding | 5.0 (94/94 pages) | 10 | −5.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches ##\s+✅\s*Checkpoint and the scaffolding check matches ##\s+📋\s*Before You Start, but the workshop (per AGENTS.md) writes ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Result: has_checkpoint is false and has_prereq_section is false for nearly all pages even though the sections exist.
Evidence (quoted from the file):
## :white_check_mark: Checkpoint(workshop/side-quest-01-02-environment-reference.md line 155) and## :clipboard: Before You Start(line 9) are both flagged as missing;CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
Learning Science Rationale:
Valid measurement is a precondition for acting on Bloom's/Cognitive Load evidence: checkpoints support retrieval practice and scaffolding reduces extraneous load (Sweller). If the rubric reports them as absent everywhere, the 4.0-point (weight 2.0 × 10 + 1.5 × 5) penalty swamps real variance, causes false "missing_checkpoint" flags and agents may add duplicate sections.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE and the has_prereq_section regexes so they accept both the literal emoji and the GitHub shortcode forms: "## ✅ Checkpoint" or "## :white_check_mark: Checkpoint", and "## 📋 Before You Start" or "## :clipboard: Before You Start" (and "## Prerequisites"). Also check any other emoji-based regexes in the file (e.g. the bloom evidence "activity:checkpoint" cue and checklist-item counting scope). Re-run the assessment against workshop/*.md, confirm has_checkpoint is true for pages containing the shortcode heading, and add a small unit test or fixture covering both forms.
Expected Score After Fix: ~8.0 / 10.0 corpus mean (up from 6.06) once real checkpoints/prereqs are detected.
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~46 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Oct 26, 2026, 3:44 AM UTC
- Lingua principale
- JavaScript
- Stelle
- 55
- Fork
- 36
- Merge medio
- 2g 8h
- PR unite (30g)
- 17
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di githubnext/gh-aw-workshop
-
[workshop-sim] Improve: Strengthen practice and checkpoints in Step 05 (What Are Agentic Workflows?)Apertafeedback simulation workshop
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
githubnext/gh-aw-workshop#4972 ·
I maintainer di solito rispondono entro 1 giorno
-
feedback simulation workshop
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
githubnext/gh-aw-workshop#4971 ·
I maintainer di solito rispondono entro 1 giorno
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
githubnext/gh-aw-workshop#4969 ·
I maintainer di solito rispondono entro 1 giorno
-
curriculum documentation quality
Difficoltà 2/5 Mezza giornata Idoneità per principianti 85/100
githubnext/gh-aw-workshop#4966 ·
I maintainer di solito rispondono entro 1 giorno
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
githubnext/gh-aw-workshop#4965 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di githubnext/gh-aw-workshop
Issue simili
-
bug confirmed issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
open-webui/open-webui#33196 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
area: apple-music area: build-release bug effort: small priority: high
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
ChristianTabor/Argon#32 ·
I maintainer di solito rispondono entro 1 giorno
-
0️⃣ phase/new
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100