[curriculum-eval] curriculum_assessment.py: checkpoint_quality and scaffolding — regexes miss :white_check_mark: / :clipboard: shortcodes
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 82/100
Línea de trabajo
Empieza con .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py e inspecciona CHECKPOINT_RE y has_prereq_section; después, comprueba si ya hay pruebas. Compara las coincidencias de la expresión regular con los encabezados de shortcode que se muestran en el issue y ejecuta la evaluación sobre workshop/*.md. Se considera terminado cuando se detectan ambos encabezados de shortcode y ## Prerequisites sigue coincidiendo.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (threshold 5.52) — scores are systematically understated
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 92/94 pages | ≥ 4 items → 10.0 | up to −10.0 (weight 2.0) |
| scaffolding | 5.0 on 94/94 pages | 10.0 when section present | −5.0 (weight 1.5) |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE requires the literal ✅ emoji and has_prereq_section requires the literal 📋 emoji, but workshop pages use the GitHub shortcodes :white_check_mark: and :clipboard:. Every page therefore loses up to ~2.0 + 0.75 weighted points, and missing_checkpoint flags are false positives.
Evidence (quoted from the file):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)...re.search(r"##\s+📋\s*Before You Start", raw, re.IGNORECASE)
while workshop/04-github-actions-intro.md contains ## :clipboard: Before You Start and ## :white_check_mark: Checkpoint with 5 checklist items.
Learning Science Rationale:
Metrics used to steer instructional design must be valid measures of the construct they claim to measure. Retrieval-practice checkpoints (Roediger & Karpicke) and advance-organizer scaffolding (Ausubel) are both present in the workshop, but the rubric reports them as absent, which would push agents to "fix" content that is not broken and hides real issues (length, concept load).
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update has_prereq_section so "Before You Start" matches both "📋" and ":clipboard:" (and still matches "## Prerequisites"). Add/extend tests if any exist. Re-run the assessment over workshop/*.md and confirm has_checkpoint is true for pages containing "## :white_check_mark: Checkpoint" and has_prereq_section is true for pages containing "## :clipboard: Before You Start". Do not edit workshop content.
Expected Score After Fix: corpus mean ≈ 7.5–8.0 / 10.0 (checkpoint and scaffolding dimensions recover for nearly all pages)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~47 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Oct 30, 2026, 3:35 AM UTC
- Lenguaje dominante
- JavaScript
- Estrellas
- 56
- Forks
- 40
- Merge medio
- 2 d 15 h
- PR fusionados (30 d)
- 14
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de githubnext/gh-aw-workshop
-
documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
githubnext/gh-aw-workshop#5193 ·
Los mantenedores suelen responder en 1 día
-
documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
githubnext/gh-aw-workshop#5194 ·
Los mantenedores suelen responder en 1 día
-
[workshop-sync] workshop/side-quest-17-05-supply-chain-mcp.md: verify `network.allowed` link anchorsAbiertodocumentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
githubnext/gh-aw-workshop#5192 ·
Los mantenedores suelen responder en 1 día
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
githubnext/gh-aw-workshop#5184 ·
Los mantenedores suelen responder en 1 día
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
githubnext/gh-aw-workshop#5182 ·
Los mantenedores suelen responder en 1 día
Todos los issues de githubnext/gh-aw-workshop
Issues similares
-
Let TypeScript accept an initial object in ReactiveDictPosiblemente ocupada @yograj-vijay-yadav la tomó hoy. Abiertobug good first issue help wanted workshop
Dificultad 2/5 1-3 horas Aptitud para principiantes 92/100
meteor/meteor#14919 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
akitaonrails/FrankMD#268 ·
Los mantenedores suelen responder en 1 día
-
account: profile
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Los mantenedores suelen responder en 5 días
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
mfreed7/xslt_polyfill#65 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día