[curriculum-eval] curriculum_assessment.py: checkpoint and scaffolding regexes miss :white_check_mark: / :clipboard: shortcodes
I maintainer di solito rispondono entro 3 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 76/100
Direzione di ricerca
Inizia da .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, in particolare da CHECKPOINT_RE, dal controllo della sezione sui prerequisiti, da CHECKLIST_RE e dagli altri pattern basati su emoji. Leggi i test unitari e i fixture pertinenti, poi esegui la valutazione su workshop/*.md. Il lavoro sarà completato quando le corrispondenze dei checkpoint aumenteranno a circa 92 file e quelle dei prerequisiti a circa 87, con test e fixture aggiornati e i contenuti dei workshop invariati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py
Overall Score: n/a (tooling defect affecting all 94 files; corpus mean 6.06)
Flagged Dimensions:
| Dimension | Score | Benchmark | Delta |
|---|---|---|---|
| checkpoint_quality | 0.0 on 92/94 files | ≥ 7.5 (≥ 3 items) | ≈ −7.5 |
| scaffolding | 5.0 on 94/94 files | 10 | −5.0 |
Root Cause (≤ 2 sentences):
CHECKPOINT_RE requires a literal ✅ and the prereq regex requires a literal 📋, but workshop headings use ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. As a result has_checkpoint is true for only 2/94 files and has_prereq_section for 0/94, even though 92 files have a Checkpoint and 87 have "Before You Start".
Evidence (quoted from the file):
CHECKPOINT_RE = re.compile(r"##\s+✅\s*Checkpoint", re.IGNORECASE)...re.search(r"##\s+📋\s*Before You Start", raw, re.IGNORECASE)
Workshop file: ## :white_check_mark: Checkpoint, ## :clipboard: Before You Start.
Learning Science Rationale:
Scores are only useful if they measure the construct they claim to. Retrieval practice and formative checks (Roediger & Karpicke) are a core design feature of this workshop; a scorer that reports them as absent produces false missing_checkpoint findings, hides true regressions (the −2.00 "declines" on side-quest-11-09 and side-quest-12-01 are artefacts) and sends improvement effort to the wrong pages.
Improvement Prompt (for an agent):
In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both "## ✅ Checkpoint" and "## :white_check_mark: Checkpoint" (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint"), and update the has_prereq_section regex to match "## 📋 Before You Start", "## :clipboard: Before You Start" and "## Prerequisites". Also check CHECKLIST_RE and any other emoji-based patterns (e.g. :dart:, :pencil2:) for the same problem. Re-run the assessment script against workshop/*.md and confirm has_checkpoint is true for ~92 files, has_prereq_section for ~87, then update any unit tests/fixtures. Do not modify workshop content.
Expected Score After Fix: corpus mean ≈ 8.5 / 10.0 (checkpoint and scaffolding dimensions recovered)
Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~45 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷
- expires on Nov 6, 2026, 3:32 AM UTC
- Lingua principale
- JavaScript
- Stelle
- 58
- Fork
- 40
- Merge medio
- 4g 4h
- PR unite (30g)
- 8
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di githubnext/gh-aw-workshop
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
githubnext/gh-aw-workshop#5367 ·
I maintainer di solito rispondono entro 3 giorni
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
githubnext/gh-aw-workshop#5360 ·
I maintainer di solito rispondono entro 3 giorni
-
[curriculum-eval] 05-agentic-workflows-intro.md: active_learning — 1,107 words with density 0.72Apertacurriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
githubnext/gh-aw-workshop#5361 ·
I maintainer di solito rispondono entro 3 giorni
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
githubnext/gh-aw-workshop#5358 ·
I maintainer di solito rispondono entro 3 giorni
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
githubnext/gh-aw-workshop#5356 ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di githubnext/gh-aw-workshop
Issue simili
-
test-reliability
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
Azure/azure-sdk-for-js#40672 · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
txn2/mcp-data-platform#2492 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
liberation-data/drivine#639 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
accessibility ux
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
prophet-technocracy/civilizational-emergency-protocol#59 ·
I maintainer di solito rispondono entro 1 giorno
-
type: bug
Difficoltà 1/5 1-3 ore Idoneità per principianti 72/100
RocketChat/Rocket.Chat#43554 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno