[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: and :clipboard: shortcodes, mis-scoring 92/94 pag
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 72/100
- Tipo di issue
- Bug
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- github-actions, python
- Ambito
- content, testing-qa
Direzione di ricerca
Leggi .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, in particolare CHECKPOINT_RE, il controllo dei prerequisiti e checklist_items. Confronta questi schemi con i titoli in workshop/04-github-actions-intro.md; poi esamina i relativi test unitari. Il lavoro è completato quando vengono riconosciuti sia i titoli con emoji sia quelli con shortcode e la valutazione segnala i checkpoint nelle pagine che li contengono.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a — affects all 94 pages (corpus mean: 6.06)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 92/94 pages | ≥ 10 when ≥ 4 items | −10 |
| scaffolding | 5.0 on 94/94 pages | 10 when section present | −5 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE is ##\s+✅\s*Checkpoint and the prereq check uses ##\s+📋\s*Before You Start, but workshop files use the GitHub shortcodes :white_check_mark: and :clipboard:. Metrics show has_checkpoint=true on only 2 pages and has_prereq_section=true on 0, while pages such as 04-github-actions-intro.md have both sections.
Evidence (quoted from the file):
## :white_check_mark: Checkpoint...- [ ] You can identifyon,jobs, andstepsin a workflow file(fromworkshop/04-github-actions-intro.md, flaggedmissing_checkpoint)
Learning Science Rationale:
A measurement instrument must be valid before its output guides instruction: a systematic false negative on checkpoints (retrieval-practice and formative-assessment prompts, which Bloom-style mastery learning relies on) misdirects authors toward fixing non-problems and hides real gaps. It also distorts trend data — side-quest-11-09-agent-session-phases.md and side-quest-12-01-iterate-agent-output.md each dropped exactly 2.00 (the checkpoint weight) in the history window, consistent with a heading-format change rather than a content change.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the emoji and the shortcode heading forms, e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", and update the has_prereq_section regex to accept "##\s+(?:📋|:clipboard:)\s*Before You Start" as well as "##\s+Prerequisites". Check how checklist_items is counted so it also works for the shortcode form. Add/extend unit tests covering both forms, then re-run the assessment against workshop/ and confirm has_checkpoint is true for every page that contains a Checkpoint heading (all except 00-welcome, 01-prerequisites, 06-install-gh-aw, README) and that the corpus mean rises by about 2 points.
Expected Score After Fix: ~8.0 / 10.0 corpus mean (from 6.06; +2.0 checkpoint, up to +0.75 scaffolding)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~42 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Oct 29, 2026, 3:35 AM UTC
- Lingua principale
- JavaScript
- Stelle
- 56
- Fork
- 40
- Merge medio
- 2g 7h
- PR unite (30g)
- 16
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di githubnext/gh-aw-workshop
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
githubnext/gh-aw-workshop#5105 ·
I maintainer di solito rispondono entro 1 giorno
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
githubnext/gh-aw-workshop#5104 ·
I maintainer di solito rispondono entro 1 giorno
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
githubnext/gh-aw-workshop#5103 ·
I maintainer di solito rispondono entro 1 giorno
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
githubnext/gh-aw-workshop#5100 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
githubnext/gh-aw-workshop#3109 · 11 commenti ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di githubnext/gh-aw-workshop
Issue simili
-
bug documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
awslabs/visual-asset-management-system#880 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
I maintainer di solito rispondono entro 1 giorno
-
[BUG]: Workspace settings forms stay at 50% width on narrow screens and wrap text word by wordApertapossible bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
Mintplex-Labs/anything-llm#6889 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
swc-project/swc-next#1165 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
nhsuk/nhsuk-prototype-kit-package#439 ·
I maintainer di solito rispondono entro 1 giorno