Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Baseline ladder results + error analysis (RESULTS v0)

Chiusa
  • Qualcosa non va?
#73 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
30/100
Tipo di issue
Documentazione
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
machine-learning
Ambito
data, documentation, machine-learning

Direzione di ricerca

Start by reviewing the linked design doc and drafts, then inspect the existing evaluation entry points for the rules and listed Gemma and Qwen model rungs after dependencies #69, #71, and #72 are complete. Run the zero-shot and few-shot ladder with grammar on and off, read at least 50 dev-set failures, and commit docs/RESULTS.md plus results/*.json containing the required metrics, taxonomy, examples, and fine-tuning go/no-go note.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

area:ml type:eval

Part of the JobTrail v2 rebuild · design doc · all drafts · draft #12

Depends on: #69, #71, #72

Scope

  • Run: rules; Gemma 3 270M, Qwen3-0.6B, ~1B, ~2B general models (zero-shot and few-shot, grammar on/off); cloud ceiling.

  • Error analysis on dev set: read ≥ 50 failures, build a failure taxonomy (Hamel-style open coding → categories with counts).

  • docs/RESULTS.md v0 + results/*.json.

Acceptance criteria

  • Table: per-field metrics, zero-edit rate, validity, hallucination, $/note for every rung.

  • Failure taxonomy with ≥ 5 categories and example IDs.

  • Explicit go/no-go note on the fine-tuning hypothesis given baseline gaps.

Definition of done (all issues)

Definition of done (every issue):

  • Acceptance criteria met with evidence linked in the closing comment (test run, results JSON, screenshot/recording).

  • needs-device issues: benchmark JSON + short screen recording from the named device committed under evidence/<issue#>/.

  • No claim in README/docs that isn't backed by a committed artifact.

  • CI green.

Device shorthand: Note 9S = Redmi Note 9S 6 GB (Snapdragon 720G, CPU-only), the minimum-spec device. iPhone = iPhone 16 Pro.

Budget rule: free tiers first (Gemini API free tier, Kaggle/Colab free GPUs, HF Hub, Vercel Hobby). Any script calling a cloud model must throttle to free-tier limits, checkpoint/resume, and log token usage. Paid spend only with owner approval, capped at a few dollars.

Lingua principale
Python
Stelle
0
Fork
0
Merge medio
14h 46m
PR unite (30g)
21

Preparare l'ambiente

  • Nessun Dockerfile né file Docker Compose
  • Ha un modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Taleef7/JobTrail

Tutte le issue di Taleef7/JobTrail

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.