[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: headings, false 0.0 scores
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 83/100
Direzione di ricerca
Inizia da .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py ed esamina CHECKPOINT_RE e il contatore degli elementi della checklist usato per checkpoint_quality. Confronta il loro comportamento con le intestazioni :white_check_mark: nelle pagine dei workshop indicate. Il lavoro è completato quando vengono riconosciuti entrambi gli stili di intestazione, gli elementi della checklist nella sezione vengono conteggiati e le cinque pagine elencate non ricevono più segnalazioni missing_checkpoint.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: 4.9 / 10.0 for the worst finding (corpus mean: 6.09)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 | ≥ 4 items → 10 | −10.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint") only matches the emoji, while workshop files use the ## :white_check_mark: Checkpoint shortcode (required by AGENTS.md). All 5 worst-scored pages (e.g. 04-github-actions-intro.md, side-quest-01-02-environment-reference.md) have real checkpoints with 5–7 items but score 0.0, so missing_checkpoint flags are false positives.
Evidence (quoted from the file):
✅ Checkpoint
- You can identify
on,jobs, andstepsin a workflow file
Learning Science Rationale:
Retrieval-practice research (Roediger & Karpicke) supports end-of-step checkpoints, and the rubric should reward them. A metric that misses them mis-ranks content and sends remediation effort at pages that already follow the recommended pattern, undermining the evaluator's validity.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE so it matches both "## ✅ Checkpoint" and "## :white_check_mark: Checkpoint" (case-insensitive). Also confirm the checklist-item counter for checkpoint_quality counts items inside that section. Re-run the assessment over workshop/*.md and confirm missing_checkpoint is no longer flagged for 04-github-actions-intro.md, 05-agentic-workflows-intro.md, side-quest-01-02-environment-reference.md, side-quest-11-06-anthropic-key.md and side-quest-17-07-repo-poisoning.md. Report the new corpus mean and the remaining lowest-scoring pages.
Expected Score After Fix: ~6.9 / 10.0 for the worst pages (checkpoint_quality 0 → 10 adds about +2.0 overall); corpus mean rises by a similar amount.
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · 21.2 AIC · ⌖ 0.741 AIC · ⊞ 10.4K · ◷
- expires on Oct 22, 2026, 4:43 AM UTC
- Lingua principale
- JavaScript
- Stelle
- 55
- Fork
- 36
- Merge medio
- 2g 8h
- PR unite (30g)
- 17
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di githubnext/gh-aw-workshop
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
githubnext/gh-aw-workshop#4897 ·
I maintainer di solito rispondono entro 1 giorno
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
githubnext/gh-aw-workshop#4896 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
githubnext/gh-aw-workshop#4885 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 1-3 ore Idoneità per principianti 84/100
githubnext/gh-aw-workshop#4878 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
githubnext/gh-aw-workshop#4879 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di githubnext/gh-aw-workshop
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
rescript-lang/rescript#8996 ·
I maintainer di solito rispondono entro 1 giorno
-
Add: Ministerstvoidey.ruApertacheck:passed logos:add
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 88/100
fossasia/visdom-dev#69 ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 74/100
-
建议写成 1949-Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 62/100
DeanChensj/jiangshan-map#133 ·
I maintainer di solito rispondono entro 1 giorno