[curriculum-eval] curriculum_assessment.py: checkpoint and scaffolding detectors miss :shortcode: headings
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 78/100
Línea de trabajo
Empieza por .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py y revisa CHECKPOINT_RE y la comprobación has_prereq_section; la incidencia identifica los patrones de emoji existentes y los encabezados con shortcodes que no detectan. Actualiza o añade pruebas unitarias para ambas formas de encabezado y vuelve a ejecutar la evaluación. Se habrá terminado cuando se detecten los encabezados válidos de checkpoint y de prerrequisitos, y solo las páginas enumeradas que no tengan checkpoints conserven la marca missing_checkpoint.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a (scorer defect; corpus mean reported 6.06, estimated true mean about 8.7)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on all 92 learning pages | ≥ 10 for pages with ≥ 4 items | −10 |
| scaffolding | 5.0 on all 94 pages | 10 when a "Before You Start" section exists | −5 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE matches only ## ✅ Checkpoint and the prerequisite check only ## 📋 Before You Start, but the workshop headings use :white_check_mark: and :clipboard: shortcodes. As a result every page is flagged missing_checkpoint and loses 2.0 + 1.5 weighted points.
Evidence (quoted from the file):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)versusworkshop/05-agentic-workflows-intro.md:## :white_check_mark: Checkpoint(6 checklist items, still scored 0).
Learning Science Rationale:
A measurement instrument must be valid before its output can guide instruction. Constructive alignment (Biggs) requires that assessment criteria reflect the actual checkpoints learners meet; a detector that cannot see them produces false "missing checkpoint" findings that waste author effort and hide real issues such as excess length and concept overload (Sweller's Cognitive Load Theory).
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to accept both "✅" and ":white_check_mark:" (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint"), and update the has_prereq_section check to accept both "📋" and ":clipboard:" before "Before You Start" (keep "## Prerequisites"). Add or update unit tests for both heading forms, rerun the assessment, and confirm learning pages with a checkpoint now receive checkpoint_quality = min(10, items*2.5) and that the "missing_checkpoint" flag only appears for pages truly lacking one (00-welcome, 01-prerequisites, 06-install-gh-aw, side-quest-13-01, side-quest-13-02).
Expected Score After Fix: 8.7 / 10.0 corpus mean (re-estimated from the current metrics).
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~47 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Nov 13, 2026, 5:04 AM UTC
- Lenguaje dominante
- JavaScript
- Estrellas
- 62
- Forks
- 43
- Merge medio
- 1 d 5 h
- PR fusionados (30 d)
- 9
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de githubnext/gh-aw-workshop
-
dedup documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
githubnext/gh-aw-workshop#5628 ·
Los mantenedores suelen responder en 1 día
-
dedup documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
githubnext/gh-aw-workshop#5629 ·
Los mantenedores suelen responder en 1 día
-
dedup documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
githubnext/gh-aw-workshop#5627 ·
Los mantenedores suelen responder en 1 día
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
githubnext/gh-aw-workshop#5622 ·
Los mantenedores suelen responder en 1 día
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
githubnext/gh-aw-workshop#5619 ·
Los mantenedores suelen responder en 1 día
Todos los issues de githubnext/gh-aw-workshop
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
good first issue help wanted javascript up-for-grabs
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
andrewsiah/agentswarm-data-tasks#307 ·
Los mantenedores suelen responder en 1 día
-
needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
coder/claudecode.nvim#588 ·
Los mantenedores suelen responder en 1 día
-
area: web tech debt
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
digitalbazaar/http-client#60 ·