Corpus-scale scan gaps (catalog scan, novelty accuracy)

Aperta
  • Qualcosa non va?
#413 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
20/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
testing-qa

Direzione di ricerca

Read the listed issues and pull requests (#219, #311, #358, #403, #406, #408, #414, #417, and #370) to understand which gaps are already covered and the remaining scope. The body groups corpus-scan and evaluation problems into P0, P1, and P2, but does not define one change or its acceptance criteria; establish a bounded task and how to verify it before implementation.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Gaps found running dokimi over a ~2K-skill corpus sample (GitSkills study). P0 = corrupts reported numbers, P1 = blocks/distorts corpus runs, P2 = ergonomics.

P0 (existing issues)

  • B1 #219 bad LLM replies cached or misreported
  • B2 #311 (fixed by #358) extraction.reached counts spans of a failed batch
  • B3 #407 phase 0: 1 valid panel vote → agreement 1.0; ground_truth not forwarded; identity hash ignores role→model

P1

  • A1 YAML parse error reported as "missing a 'description'" (44.7K of 224K load errors) — covered by #403
  • A2 _scan_skill_files crashes on ENAMETOOLONG for a sibling path; should be an error row — PR #417
  • A3 cross-catalog checks (name-conflict, mirror-drift, near-duplicate) fire between unrelated skills of a corpus root; need per-skill mode — PR #414
  • A4 SKILL.md nested in another skill's bundle counted as separate skill (2,105 rows / 1,979 dirs) — PR #414
  • B4 partial result not written at --max-usd stop — #406
  • B5 judge output ceiling 4096 tokens; no cap-partial for analyze/atoms/probe/shorten; absent adjudication silent; no triage per-run estimate
  • B6 no built-in test-retest (--repeats 1 noise null)

P2

  • A5 catalog eval selects 1,741 skills where scan finds 2,105 on same root; rule not stated
  • A6 no public per-skill review API (review_skill_dir(path)) — PR #414
  • A7 no --jsonl / --jobs / resume for 1M+ skills — PR #414
  • A8 no rule filter (--ignore name-mismatch)
  • A9 no warning when judge is same model family as measured model (extend #408)
  • B7 routing output estimate low — #403
  • B8 replay provenance per answer — #370
Lingua principale
Python
Stelle
11
Fork
9
Merge medio
1g 11h
PR unite (30g)
335

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di intel/dokimi

Tutte le issue di intel/dokimi

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.