[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses `:white_check_mark:` shortcode, 0/10 on every page
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 78/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- testing-qa
Línea de trabajo
Empieza con .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, especialmente con CHECKPOINT_RE, la comprobación de requisitos previos y el código de indicadores de actividades de Bloom que usa el patrón de checkpoint. Compara esos patrones con los encabezados de shortcode que se muestran en el issue y luego añade una pequeña prueba unitaria que cubra tanto las formas con emoji como las de shortcode. Ejecuta la evaluación sobre workshop/*.md; el trabajo estará terminado cuando se reconozcan las secciones de checkpoint y de requisitos previos y se informen las puntuaciones solicitadas por página y la media del corpus.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: affects all 94 pages (corpus mean 6.06; threshold 5.52)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 (all pages) | ≥ 7.5 (≥ 3 items) | −7.5 or worse |
| scaffolding | 5.0 (all pages) | 10 | −5.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches ##\s+✅\s*Checkpoint and the prerequisite check matches ##\s+📋\s*Before You Start, but workshop pages use the GitHub shortcodes ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Result: has_checkpoint and has_prereq_section are false everywhere, so missing_checkpoint is flagged on pages that have one (e.g. 04-github-actions-intro.md line 138, side-quest-11-06-anthropic-key.md line 109).
Evidence (quoted from the file):
## :white_check_mark: Checkpoint(workshop/04-github-actions-intro.md) vs.CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)
Learning Science Rationale:
A rubric is only a valid proxy for Bloom-aligned formative assessment if it measures the construct it claims to. Misclassifying present checkpoints as absent creates systematic construct-irrelevant error, hides genuine gaps (pages with weak checkpoints), and produces misleading trends such as the two −2.00 swings seen in the history window.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and shortcode forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the has_prereq_section regex to accept r"##\s+(?:📋|:clipboard:)\s*Before You Start" as well as "## Prerequisites". Also check the Bloom activity-cue code near line 157 that uses CHECKPOINT_RE. Add a small unit test covering both forms, rerun the assessment over workshop/*.md, and report the new corpus mean and per-page checkpoint_quality scores. Do not change workshop content.
Expected Score After Fix: ~7.0 / 10.0 corpus mean (checkpoint +2.0 weight on 4+ item pages, scaffolding +1.5 weight)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~34 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Oct 31, 2026, 4:04 AM UTC
- Lenguaje dominante
- JavaScript
- Estrellas
- 56
- Forks
- 40
- Merge medio
- 2 d 15 h
- PR fusionados (30 d)
- 14
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de githubnext/gh-aw-workshop
-
feedback simulation workshop
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
githubnext/gh-aw-workshop#5157 ·
Los mantenedores suelen responder en 1 día
-
feedback simulation workshop
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
githubnext/gh-aw-workshop#5156 ·
Los mantenedores suelen responder en 1 día
-
[workshop-sync] workshop/side-quest-13-02-pr-summary-pattern.md: agent job uses write permissionAbiertodocumentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
githubnext/gh-aw-workshop#5153 ·
Los mantenedores suelen responder en 1 día
-
[workshop-sync] workshop/side-quest-13-01-pr-labeler-pattern.md: agent job uses write permissionAbiertodocumentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
githubnext/gh-aw-workshop#5154 ·
Los mantenedores suelen responder en 1 día
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
githubnext/gh-aw-workshop#5143 ·
Los mantenedores suelen responder en 1 día
Todos los issues de githubnext/gh-aw-workshop
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
agent bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
-
bug 🐛
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
comunica/comunica#1925 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
factory-active task-identify-harness-labels-done task-identify-issue-type-done
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
vercel/ai#24302 · 1 comentario ·
Los mantenedores suelen responder en 1 día