Baseline ladder results + error analysis (RESULTS v0)
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 30/100
- issue の種類
- ドキュメント
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- machine-learning
調査の方向性
Start by reviewing the linked design doc and drafts, then inspect the existing evaluation entry points for the rules and listed Gemma and Qwen model rungs after dependencies #69, #71, and #72 are complete. Run the zero-shot and few-shot ladder with grammar on and off, read at least 50 dev-set failures, and commit docs/RESULTS.md plus results/*.json containing the required metrics, taxonomy, examples, and fine-tuning go/no-go note.
索引モデルが issue の本文から書いたものです。
説明
Part of the JobTrail v2 rebuild · design doc · all drafts · draft #12
Depends on: #69, #71, #72
Scope
-
Run: rules; Gemma 3 270M, Qwen3-0.6B, ~1B, ~2B general models (zero-shot and few-shot, grammar on/off); cloud ceiling.
-
Error analysis on dev set: read ≥ 50 failures, build a failure taxonomy (Hamel-style open coding → categories with counts).
-
docs/RESULTS.mdv0 +results/*.json.
Acceptance criteria
-
Table: per-field metrics, zero-edit rate, validity, hallucination, $/note for every rung.
-
Failure taxonomy with ≥ 5 categories and example IDs.
-
Explicit go/no-go note on the fine-tuning hypothesis given baseline gaps.
Definition of done (all issues)
Definition of done (every issue):
-
Acceptance criteria met with evidence linked in the closing comment (test run, results JSON, screenshot/recording).
-
needs-deviceissues: benchmark JSON + short screen recording from the named device committed underevidence/<issue#>/. -
No claim in README/docs that isn't backed by a committed artifact.
-
CI green.
Device shorthand: Note 9S = Redmi Note 9S 6 GB (Snapdragon 720G, CPU-only), the minimum-spec device. iPhone = iPhone 16 Pro.
Budget rule: free tiers first (Gemini API free tier, Kaggle/Colab free GPUs, HF Hub, Vercel Hobby). Any script calling a cloud model must throttle to free-tier limits, checkpoint/resume, and log token usage. Paid spend only with owner approval, capped at a few dollars.
- 主要言語
- Python
- スター
- 0
- フォーク
- 0
- 平均マージ
- 14時間 46分
- マージ済み PR（30日）
- 21
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Taleef7/JobTrail のほかの issue
-
area:docs
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
メンテナーはふだん 1 日以内に返信
-
area:data type:eval
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
メンテナーはふだん 1 日以内に返信
-
area:mobile type:eval
難易度 4/5 1週間以上 初心者へのやさしさ 45/100
メンテナーはふだん 1 日以内に返信
-
area:docs area:web
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
メンテナーはふだん 1 日以内に返信
-
area:web type:feature
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
メンテナーはふだん 1 日以内に返信
Taleef7/JobTrail の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
nansencenter/geodataset#39 ·
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
awslabs/visual-asset-management-system#804 ·
メンテナーはふだん 1 日以内に返信
-
follow-up
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
link-rot
難易度 1/5 1時間未満 初心者へのやさしさ 67/100