[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: headings, 90/93 pages scored 0
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 78/100
Direzione di ricerca
Il bug si trova in CHECKPOINT_RE in .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, che riconosce solo il titolo letterale con l'emoji. Inizia leggendo questo pattern, poi controlla workshop/side-quest-17-07-repo-poisoning.md, che usa ## :white_check_mark: Checkpoint. È completato quando il pattern accetta entrambe le forme di intestazione senza distinzione tra maiuscole e minuscole, un test unitario copre entrambe e le 3 pagine senza checkpoint continuano a essere segnalate.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a (affects 90 of 93 pages; corpus mean 6.09)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 (90/93 pages) | >= 4 items -> 10.0 | -10.0 |
Root Cause (<= 2 sentences):
CHECKPOINT_RE matches only the literal emoji heading, while workshop files use ## :white_check_mark: Checkpoint. Every page therefore reports has_checkpoint: false and scores 0 on a 2.0-weight dimension.
Evidence (quoted from the file):
## :white_check_mark: Checkpointfollowed by 5-7- [ ]items inworkshop/side-quest-17-07-repo-poisoning.md, yet the file is flaggedmissing_checkpoint.
Learning Science Rationale:
Valid measurement is a precondition for formative feedback (Black & Wiliam). A false 0 on checkpoint quality hides real retrieval-practice gaps (the testing effect) and distorts thresholds, trends, and flagged findings, so agents chase nonexistent problems.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, change CHECKPOINT_RE so it also matches ":white_check_mark:" (for example a pattern accepting either the emoji or :white_check_mark: before "Checkpoint", case-insensitive). Rerun the assessment and confirm most workshop pages now have has_checkpoint true while the 3 genuinely missing pages are still flagged. Add a unit test for both heading forms.
Expected Score After Fix: ~7.5 / 10.0 corpus mean (from 6.09)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · 27.2 AIC · ⌖ 0.785 AIC · ⊞ 10.5K · ◷
- expires on Oct 17, 2026, 7:40 AM UTC
- Lingua principale
- JavaScript
- Stelle
- 53
- Fork
- 35
- Merge medio
- 1g 5h
- PR unite (30g)
- 16
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di githubnext/gh-aw-workshop
-
documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
githubnext/gh-aw-workshop#4635 ·
I maintainer di solito rispondono entro 1 giorno
-
[guidelines] side-quest-21-01-sub-agent-syntax.md: checklist checkbox count exceeds 10-item limitApertadocumentation guidelines
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
githubnext/gh-aw-workshop#4409 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
githubnext/gh-aw-workshop#3109 · 11 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
accessibility bug
Difficoltà 2/5 1-2 giorni Idoneità per principianti 68/100
githubnext/gh-aw-workshop#2744 · 10 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
curriculum documentation quality
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
githubnext/gh-aw-workshop#4639 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di githubnext/gh-aw-workshop
Issue simili
-
change request evaluating
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
sindresorhus/eslint-plugin-unicorn#3907 ·
I maintainer di solito rispondono entro 1 giorno
-
Android bug feature/error-tracking react-native team/error-tracking
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
PostHog/posthog-js#5310 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Add Prettier and a format-check CI jobForse già presa @ezekielnathaniel070-ai l’ha presa oggi. Apertabackend frontend good first issue Stellar Wave
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
OlaGreat/starbound-realms#98 · 1 commento ·
-
Add AudiobookshelfApertaapp request good first issue help wanted self-hosted app
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
Secra-Solutions/Conector#15 ·
-
Complexity: See issue making label epic good first issue Issue Making: Level 1 P-Feature: Project Info and Page role: back end/devOps role: front end size: 0.25pt time sensitive
Difficoltà 2/5 Meno di un'ora Idoneità per principianti 65/100
I maintainer di solito rispondono entro 1 giorno