[curriculum-eval] curriculum_assessment.py: checkpoint_quality — emoji regex misses :white_check_mark: shortcodes (92/94 false negatives)
Los mantenedores suelen responder en 3 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 78/100
Línea de trabajo
Empieza con .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py e inspecciona CHECKPOINT_RE y la expresión regular de la sección de requisitos previos. Compáralas con los encabezados de shortcode de workshop/04-github-actions-intro.md; la tarea estará completa cuando se detecten tanto los encabezados con emoji como los de shortcode, incluido el encabezado «Prerequisites» indicado, y esa página del taller informe de un checkpoint con 5 elementos de lista. Añade pruebas para ambos formatos de encabezado y vuelve a ejecutar la evaluación en workshop/.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects all workshop/*.md)
Overall Score: 4.9–5.4 / 10.0 for the 5 flagged pages (corpus mean: 6.06)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 | ≥ 10 with ≥ 4 items | −10.0 |
| scaffolding | 5.0 | 10 | −5.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches the literal ✅ and the prereq regex matches the literal 📋, but workshop files use the GitHub shortcodes :white_check_mark: and :clipboard:. As a result 92/94 pages report has_checkpoint: false and 92/94 report has_prereq_section: false, deflating every score and producing false "missing_checkpoint" findings (e.g. 04-github-actions-intro.md).
Evidence (quoted from the file):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)vs. inworkshop/04-github-actions-intro.md:## :white_check_mark: Checkpointfollowed by 5 checklist items.
Learning Science Rationale:
Measurement validity: a rubric tied to a rendering detail instead of structure misguides prioritisation. Checkpoints support retrieval practice (Roediger & Karpicke), so the real content gaps must be separated from detector artefacts; otherwise effort is spent on pages that already comply, while true gaps (e.g. side-quest-01-02-environment-reference.md length 1433 words, side-quest-17-07-repo-poisoning.md 23 new concepts) are hidden among noise.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both "## ✅ Checkpoint" and "## :white_check_mark: Checkpoint", and update the has_prereq_section regex to match both "## 📋 Before You Start" and "## :clipboard: Before You Start" (plus "## Prerequisites"). Add unit tests covering both forms, re-run the assessment over workshop/, and confirm 04-github-actions-intro.md now reports has_checkpoint=true with 5 checklist items.
Expected Score After Fix: ~7.0 / 10.0 for the 5 flagged pages; corpus mean ≈ 7.5 / 10.0. After the fix, re-evaluate real gaps: side-quest-01-02-environment-reference.md (excessive length, low activity density 0.63), side-quest-17-07-repo-poisoning.md (23 concepts, 1234 words), side-quest-11-06-anthropic-key.md (26 concepts).
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~26 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Nov 7, 2026, 3:30 AM UTC
- Lenguaje dominante
- JavaScript
- Estrellas
- 58
- Forks
- 40
- Merge medio
- 4 d 4 h
- PR fusionados (30 d)
- 8
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de githubnext/gh-aw-workshop
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
githubnext/gh-aw-workshop#5400 ·
Los mantenedores suelen responder en 3 días
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
githubnext/gh-aw-workshop#5401 ·
Los mantenedores suelen responder en 3 días
-
documentation
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
githubnext/gh-aw-workshop#5379 ·
Los mantenedores suelen responder en 3 días
-
[workshop-sync] workshop/side-quest-11-02-yaml-frontmatter.md: `emoji: :bar_chart:` is invalid YAMLAbiertodocumentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
githubnext/gh-aw-workshop#5368 ·
Los mantenedores suelen responder en 3 días
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
githubnext/gh-aw-workshop#5367 · 1 comentario ·
Los mantenedores suelen responder en 3 días
Todos los issues de githubnext/gh-aw-workshop
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Fei-Away/Codex-Dream-Skin#449 ·
Los mantenedores suelen responder en 1 día
-
Claude Code plugin does not wire the edit-time Floor hookPosiblemente ocupada @dgr8akki la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 4 días
-
Administration: required plugin configuration field stays invalid after restoring its saved valueAbiertoneeds-triage Platform(Default)
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
nearform/ag-grid-url-sync#314 · 1 reacción ·
Los mantenedores suelen responder en 1 día
-
chore
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
idean3885/claude-ops-agent#910 ·
Los mantenedores suelen responder en 1 día