Baseline ladder results + error analysis (RESULTS v0)
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 30/100
- Issue 类型
- 文档
- 描述清晰度
- 基本清楚
- 活跃度
- 活跃
- 技术栈
- machine-learning
调研方向
Start by reviewing the linked design doc and drafts, then inspect the existing evaluation entry points for the rules and listed Gemma and Qwen model rungs after dependencies #69, #71, and #72 are complete. Run the zero-shot and few-shot ladder with grammar on and off, read at least 50 dev-set failures, and commit docs/RESULTS.md plus results/*.json containing the required metrics, taxonomy, examples, and fine-tuning go/no-go note.
由索引模型根据 Issue 内容生成。
描述
Part of the JobTrail v2 rebuild · design doc · all drafts · draft #12
Depends on: #69, #71, #72
Scope
-
Run: rules; Gemma 3 270M, Qwen3-0.6B, ~1B, ~2B general models (zero-shot and few-shot, grammar on/off); cloud ceiling.
-
Error analysis on dev set: read ≥ 50 failures, build a failure taxonomy (Hamel-style open coding → categories with counts).
-
docs/RESULTS.mdv0 +results/*.json.
Acceptance criteria
-
Table: per-field metrics, zero-edit rate, validity, hallucination, $/note for every rung.
-
Failure taxonomy with ≥ 5 categories and example IDs.
-
Explicit go/no-go note on the fine-tuning hypothesis given baseline gaps.
Definition of done (all issues)
Definition of done (every issue):
-
Acceptance criteria met with evidence linked in the closing comment (test run, results JSON, screenshot/recording).
-
needs-deviceissues: benchmark JSON + short screen recording from the named device committed underevidence/<issue#>/. -
No claim in README/docs that isn't backed by a committed artifact.
-
CI green.
Device shorthand: Note 9S = Redmi Note 9S 6 GB (Snapdragon 720G, CPU-only), the minimum-spec device. iPhone = iPhone 16 Pro.
Budget rule: free tiers first (Gemini API free tier, Kaggle/Colab free GPUs, HF Hub, Vercel Hobby). Any script calling a cloud model must throttle to free-tier limits, checkpoint/resume, and log token usage. Paid spend only with owner approval, capped at a few dollars.
- 主要语言
- Python
- 星标
- 0
- 派生
- 0
- 平均合并
- 2 天 20 小时
- 30 天内合并 PR
- 32
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
Taleef7/JobTrail 的其他 Issue
-
area:docs
难度 4/5 3-5 天 新手友好度 48/100
维护者通常 1 天内回复
-
area:data type:eval
难度 4/5 3-5 天 新手友好度 45/100
维护者通常 1 天内回复
-
area:mobile type:eval
难度 4/5 一周以上 新手友好度 45/100
维护者通常 1 天内回复
-
area:docs area:web
难度 4/5 3-5 天 新手友好度 45/100
维护者通常 1 天内回复
-
area:web type:feature
难度 5/5 一周以上 新手友好度 35/100
维护者通常 1 天内回复
相似的 Issue
-
bug
难度 2/5 1-3 小时 新手友好度 74/100
BCDA-APS/polar-bits#93 ·
-
infer_audio_type only recognises one MPEG Layer III frame header, so most MP3 files are rejected可能已有人在做 @Steve-20-ai 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
[BUG] - ssh_config `Match tagged` statement always applies可能已有人在做 @AtharvRG 今天认领。 未关闭Bug
难度 2/5 1-3 小时 新手友好度 68/100
paramiko/paramiko#2715 · 1 条评论 ·
维护者通常 9 天内回复
-
auto-rejected intake mcp-intake needs-salvage priority:high type:feature
难度 2/5 1-3 小时 新手友好度 65/100
Ikalus1988/MisakaNet#4221 · 2 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复