[curriculum-eval] curriculum_assessment.py: checkpoint_quality — shortcode headings not detected, 91/93 pages falsely score 0
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 76/100
- Tipo di issue
- Bug
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- github-actions, markdown, python
- Ambito
- developer-experience, testing
Direzione di ricerca
Inizia da .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py ed esamina CHECKPOINT_RE, has_prereq_section e la logica di conteggio degli elementi della checklist. Confronta il loro comportamento con i titoli contenenti gli emoji e gli shortcode letterali mostrati nell’issue, quindi esegui la valutazione e i test unitari pertinenti. Il lavoro è concluso quando questi titoli vengono riconosciuti e le pagine con sezioni checkpoint non generano più falsi rilievi missing_checkpoint.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects every workshop/*.md)
Overall Score: 5.4 / 10.0 for workshop/04-github-actions-intro.md (corpus mean: 6.1)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 | ≥ 4 items → 10.0 | -10.0 |
| scaffolding | 5.0 | 10.0 | -5.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches only a literal ✅ and has_prereq_section only a literal 📋, but workshop files use :white_check_mark: / :clipboard: shortcodes (per AGENTS.md). As a result 91 of 93 pages report has_checkpoint: false although they have 4+ checklist items.
Evidence (quoted from the file):
## :white_check_mark: Checkpointfollowed by five- [ ]items (workshop/04-github-actions-intro.md, lines 138–144) is scoredhas_checkpoint: false,checkpoint_quality: 0.0.
Learning Science Rationale:
Valid measurement is a precondition for acting on formative-assessment signals (Black & Wiliam). Checkpoints support retrieval practice and self-monitoring; a rubric that scores them 0 for nearly all pages produces false missing_checkpoint findings and hides genuine differences such as length (Cognitive Load Theory) and low activity density.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both "## ✅ Checkpoint" and "## :white_check_mark: Checkpoint", and update the has_prereq_section regex to match both "## 📋 Before You Start" and "## :clipboard: Before You Start" (plus "## Prerequisites"). Ensure checkpoint checklist-item counting works with the shortcode form. Add/adjust unit tests, re-run the assessment, and confirm the corpus no longer reports missing_checkpoint for pages that have a checkpoint section.
Expected Score After Fix: 7.4 / 10.0 for 04-github-actions-intro.md (checkpoint +2.0 weight, scaffolding +0.75 effective); corpus mean rises to roughly 7.5.
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · 25.6 AIC · ⌖ 0.781 AIC · ⊞ 10.4K · ◷
- expires on Oct 23, 2026, 5:38 AM UTC
- Lingua principale
- JavaScript
- Stelle
- 55
- Fork
- 36
- Merge medio
- 2g 8h
- PR unite (30g)
- 17
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di githubnext/gh-aw-workshop
-
[workshop-sync] workshop/side-quest-11-02-yaml-frontmatter.md: `emoji: :bar_chart:` is invalid YAMLApertadocumentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
githubnext/gh-aw-workshop#4857 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
githubnext/gh-aw-workshop#4856 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
githubnext/gh-aw-workshop#4855 ·
I maintainer di solito rispondono entro 1 giorno
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
githubnext/gh-aw-workshop#4837 ·
I maintainer di solito rispondono entro 1 giorno
-
[curriculum-eval] side-quest-01-02-environment-reference.md: cognitive_load — 1433-word reference pageForse già presa @tu-lasizzzz l’ha presa 1 giorno fa. Apertacurriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
githubnext/gh-aw-workshop#4838 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di githubnext/gh-aw-workshop
Issue simili
-
建议增加URL参数构建的工具Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
uoftblueprint/canada-basketball#67 ·
I maintainer di solito rispondono entro 1 giorno
-
打开群聊的设置同时打开侧边栏会出现侧边只出现一半Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 61/100
Fei2411/DeepSeek-Bot#456 ·
I maintainer di solito rispondono entro 1 giorno
-
área:app área:produto sem-fase tipo:decisão
Difficoltà 2/5 1-3 ore Idoneità per principianti 63/100
Varanda-org/varanda#91 ·
-
0️⃣ phase/new
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno