[curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses :white_check_mark: and :clipboard: shortcodes

Aberta Para iniciantes
#6,000 0 comentários 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 1 dia

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
2/5
Tempo estimado
1-3 horas
Facilidade para iniciantes
80/100
Tipo de issue
Bug
Clareza
Claramente especificada
Status de atividade
Ativa
Stack de tecnologia
python
Domínio
tooling

Direção de pesquisa

Comece em .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py na definição de CHECKPOINT_RE, depois rastreie cada lugar em que essa família de padrões é reutilizada: a regex has_prereq_section, o contador de itens da checklist e a dica de Bloom activity:checkpoint. Combine tanto o emoji literal quanto as formas de shortcode :white_check_mark: / :clipboard:, depois execute novamente a avaliação sobre workshop/*.md e confirme que workshop/04-github-actions-intro.md reporta has_checkpoint: true com scaffolding 10, além da nova média do corpus.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

curriculum documentation quality

File: .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py (affects all workshop/*.md)
Overall Score: 5.4 / 10.0 for the 5 flagged pages (corpus mean: 6.06)

Flagged Dimensions:

Dimension Score Benchmark Delta
checkpoint_quality 0.0 ≥ 10.0 (≥ 4 items) −10.0
scaffolding 5.0 10.0 −5.0

Root Cause (≤ 2 sentences):
CHECKPOINT_RE = r"##\s+✅\s*Checkpoint" and the prerequisite regex ##\s+📋\s*Before You Start require literal emoji, but the workshop writes ## :white_check_mark: Checkpoint and ## :clipboard: Before You Start. Every flagged page reports has_checkpoint: false and checkpoint_quality: 0.0 even when it has 5–7 checklist items.

Evidence (quoted from the file):

## :white_check_mark: Checkpoint / - [ ] You labeled all five parts of the sample workflow above ... (workshop/04-github-actions-intro.md, lines 138–144), which the scorer reports as has_checkpoint: false.

Learning Science Rationale:
Valid assessment depends on instruments that measure the intended construct. A false 0 for checkpoint quality pushes learners' retrieval-practice checkpoints, which are the strongest formative-assessment signal in the lesson, out of view, and sends authors to fix content that is not broken. Fixing the scorer restores a reliable feedback loop for Bloom-aligned improvements.

Improvement Prompt (for an agent):

In .github/skills/curriculum-quantitative-assessment/curriculum_assessment.py, update CHECKPOINT_RE to match both the literal emoji and the shortcode form (e.g. r"##\s+(?:✅|:white_check_mark:)\s*Checkpoint", re.IGNORECASE), and update the has_prereq_section regex to match "## 📋 Before You Start" and "## :clipboard: Before You Start" as well as "## Prerequisites". Also check the checklist-item counting and the "activity:checkpoint" Bloom cue use the same pattern. Re-run the assessment, confirm that 04-github-actions-intro.md now has has_checkpoint=true and scaffolding=10, and report the new corpus mean and the updated findings list.

Expected Score After Fix: 6.9 / 10.0 for 04-github-actions-intro.md (corpus mean expected to rise by roughly 1–2 points)

Generated by 🔬 Curriculum Quality Evaluator · copilot · auto · ~39 AIC · ⌖ ~1 AIC · ⊞ 5K · ◷

  • expires on Nov 23, 2026, 4:03 AM UTC
Linguagem predominante
JavaScript
Estrelas
61
Forks
43
Merge médio
10h 38min
PRs com merge (30d)
12

Preparar o ambiente

Abrir no Codespaces

Inicia o contêiner de desenvolvimento do projeto no navegador, com a sua própria conta do GitHub.

  • Sem Dockerfile nem arquivo Docker Compose
  • Sem modelo de pull request
  • Sem guia de contribuição

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de githubnext/gh-aw-workshop

Todas as issues de githubnext/gh-aw-workshop

Issues semelhantes

Mais issues de JavaScript

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.