[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regexes miss :white_check_mark: and :clipboard: shortcodes, penalising 92/94 page
Los mantenedores suelen responder en 3 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 78/100
Línea de trabajo
Empieza en .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py en CHECKPOINT_RE y en la expresión regular has_prereq_section, luego revisa las formas de encabezado :white_check_mark: y :clipboard: en workshop/04-github-actions-intro.md. Amplía ambos patrones para aceptar las formas con emoji y con shortcode, y añade pruebas unitarias con una muestra por cada forma. Está terminado cuando has_checkpoint es verdadero para unos 88 archivos del workshop y los pesos no han cambiado.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (artificially depressed ~1.5–2 points)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 92/94 pages | ≥ 7.5 (≥ 3 items) | −7.5 or more |
| scaffolding | 5.0 on 94/94 pages | 10 | −5.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches ##\s+✅\s*Checkpoint and has_prereq_section matches ##\s+📋\s*Before You Start, but the workshop writes these headings as ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Result: has_checkpoint is false for 92 of 94 files and has_prereq_section for all 94, even though ~88 pages have a checkpoint with 5+ items.
Evidence (quoted from the file):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
and, in workshop/04-github-actions-intro.md: ## :white_check_mark: Checkpoint followed by five - [ ] items, which the scorer rates checkpoint_quality: 0.0.
Learning Science Rationale:
A measurement instrument must be valid before its output can drive curriculum decisions (construct validity). Here the checkpoint dimension is meant to capture retrieval practice and formative assessment (Roediger & Karpicke's testing effect), but a regex mismatch removes ~3.0 weighted points (checkpoint weight 2.0 × 7.5 + scaffolding 1.5 × 5 ≈ 22.5 of 130 weighted points → ~1.7 overall) from every page, so rankings, thresholds, flagged findings and trend deltas are dominated by noise rather than pedagogy.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE and the has_prereq_section regexes so they match both the Unicode emoji and the GitHub shortcode forms: "## ✅ Checkpoint" or "## :white_check_mark: Checkpoint"; "## 📋 Before You Start" or "## :clipboard: Before You Start" (and keep "## Prerequisites"). Use patterns such as r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint". Also handle checklist items under a duplicated Checkpoint heading by counting only the first one. Add unit tests with one sample per form, regenerate /tmp/gh-aw/data/rubric-results.json, and confirm has_checkpoint is true for ~88 workshop files and has_prereq_section is true for pages containing "Before You Start". Do not change the weights.
Expected Score After Fix: 7.5 / 10.0 corpus mean (+~1.4)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~46 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Nov 4, 2026, 3:32 AM UTC
- Lenguaje dominante
- JavaScript
- Estrellas
- 58
- Forks
- 40
- Merge medio
- 4 d 4 h
- PR fusionados (30 d)
- 8
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de githubnext/gh-aw-workshop
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
githubnext/gh-aw-workshop#5400 ·
Los mantenedores suelen responder en 3 días
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
githubnext/gh-aw-workshop#5401 ·
Los mantenedores suelen responder en 3 días
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
githubnext/gh-aw-workshop#5392 ·
Los mantenedores suelen responder en 3 días
-
documentation
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
githubnext/gh-aw-workshop#5379 ·
Los mantenedores suelen responder en 3 días
-
[workshop-sync] workshop/side-quest-11-02-yaml-frontmatter.md: `emoji: :bar_chart:` is invalid YAMLAbiertodocumentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
githubnext/gh-aw-workshop#5368 ·
Los mantenedores suelen responder en 3 días
Todos los issues de githubnext/gh-aw-workshop
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
guybedford/es-module-lexer#266 ·
-
bug documentation
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
apify/apify-docs#3206 ·
Los mantenedores suelen responder en 1 día
-
enhancement good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 90/100
anhnt256/cursor-swarm#21 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
documentation good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
zerohourzulu/irontrellis#16 ·