[curriculum-eval] curriculum_assessment.py: checkpoint_quality — CHECKPOINT_RE misses `:white_check_mark:` shortcode, 92/94 pages scored 0

Cerrado Apto para principiantes
  • ¿Algo no está bien?
#5,218 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
78/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
python
Área
content, tooling

Línea de trabajo

Empieza en .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py en la definición de CHECKPOINT_RE y revisa la lógica de has_checkpoint que la usa. Para reproducirlo, ejecuta el script de evaluación sobre workshop/side-quest-01-02-environment-reference.md, que tiene un encabezado de checkpoint con :white_check_mark: pero obtiene has_checkpoint: false. Está terminado cuando esa página y otras páginas de aprendizaje con cualquiera de los dos estilos de encabezado se detectan, se confirman la pista de Bloom de los checkpoints y el conteo de listas de verificación, y pasan las pruebas de la skill.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: corpus mean 6.06 / 10.0 (understated by about 2 points of weighted score)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 (92 of 94 pages) ≥ 7.5 (≥ 3 items; 10 at ≥ 4 items) -7.5 to -10

Root Cause (≤ 2 sentences):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE) only matches the literal emoji. Workshop pages use the ## :white_check_mark: Checkpoint shortcode required by AGENTS.md, so has_checkpoint is false and missing_checkpoint is flagged on pages that do have checkpoints.

Evidence (quoted from the file):

## :white_check_mark: Checkpoint (e.g. workshop/side-quest-01-02-environment-reference.md line 155, followed by 7 checklist items, yet scored has_checkpoint: false)

Learning Science Rationale:
Checkpoints are formative assessment and retrieval practice (Roediger and Karpicke's testing effect). A metric that reports them as absent when they exist sends authors to fix a non-problem and hides real weaknesses such as vague checklist items. It also causes score swings in history (side-quest-11-09 and side-quest-12-01 each moved by 2.00 points).

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, change CHECKPOINT_RE so it matches both "## ✅ Checkpoint" and "## :white_check_mark: Checkpoint" (for example r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE). Re-run the assessment script on workshop/ and confirm has_checkpoint is true for all learning pages that contain a checkpoint heading. Also check whether the activity:checkpoint Bloom cue at around line 157 and the checklist-item counting need the same fix. Update any unit tests or docs for the skill. Do not edit workshop content.

Expected Score After Fix: ~8.0 / 10.0 corpus mean (up from 6.06)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~40 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 2, 2026, 3:34 AM UTC
Lenguaje dominante
JavaScript
Estrellas
56
Forks
40
Merge medio
2 d 14 h
PR fusionados (30 d)
13

Preparar el entorno

Abrir en Codespaces

Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.

  • Sin Dockerfile ni archivo de Docker Compose
  • Sin plantilla de pull request
  • Sin guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de githubnext/gh-aw-workshop

Todos los issues de githubnext/gh-aw-workshop

Issues similares

Más issues de JavaScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.