Spike: llama.rn inference on the Note 9S
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- android, react-native, typescript
調査の方向性
Resolve dependency #63 first, then run the minimal Expo SDK 57 dev build with llama.rn on the Redmi Note 9S. Test the listed GGUF sizes, quantizations, thread counts, prompt shapes, and JSON-schema generation, recording device details and measurements in evidence/64/bench.json. Finish with the decision in docs/adr/0001-on-device-runtime.md and a screen recording.
索引モデルが issue の本文から書いたものです。
説明
Part of the JobTrail v2 rebuild · design doc · all drafts · draft #3
Depends on: #63
Context. Decides which model sizes and quantizations are viable on the minimum-spec device, before we train anything. Legacy never ran a model on a device.
Scope
-
Minimal Expo SDK 57 dev build (New Architecture) with
llama.rn; Android build on Windows (local Android SDK or EAS). -
Load off-the-shelf GGUFs: Gemma 3 270M and Qwen3-0.6B at Q8_0, Q4_K_M, Q4_0 (+ one ~1B model if RAM allows).
-
Measure per config: model load time, TTFT, prefill tok/s, decode tok/s, peak RSS, with threads = 2 / 4 / 6.
-
Measure two prompt shapes: long (~400-token instructions + schema + note) vs short (note only, ~100 tokens) — quantifies the prefill cost fine-tuning would remove.
-
Test JSON-schema-constrained generation works (grammar) and its overhead.
-
Record Note 9S RAM variant and Android version.
Acceptance criteria
-
evidence/64/bench.jsonwith all measurements + device info; screen recording of one run. -
Short written decision (ADR
docs/adr/0001-on-device-runtime.md): viable size range, best thread count, quant formats to carry forward, p50 latency target for the product.
Definition of done (all issues)
Definition of done (every issue):
-
Acceptance criteria met with evidence linked in the closing comment (test run, results JSON, screenshot/recording).
-
needs-deviceissues: benchmark JSON + short screen recording from the named device committed underevidence/<issue#>/. -
No claim in README/docs that isn't backed by a committed artifact.
-
CI green.
Device shorthand: Note 9S = Redmi Note 9S 6 GB (Snapdragon 720G, CPU-only), the minimum-spec device. iPhone = iPhone 16 Pro.
Budget rule: free tiers first (Gemini API free tier, Kaggle/Colab free GPUs, HF Hub, Vercel Hobby). Any script calling a cloud model must throttle to free-tier limits, checkpoint/resume, and log token usage. Paid spend only with owner approval, capped at a few dollars.
- 主要言語
- Python
- スター
- 0
- フォーク
- 0
- 平均マージ
- 14時間 46分
- マージ済み PR（30日）
- 21
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Taleef7/JobTrail のほかの issue
-
area:docs
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
メンテナーはふだん 1 日以内に返信
-
area:data type:eval
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
メンテナーはふだん 1 日以内に返信
-
area:mobile type:eval
難易度 4/5 1週間以上 初心者へのやさしさ 45/100
メンテナーはふだん 1 日以内に返信
-
area:docs area:web
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
メンテナーはふだん 1 日以内に返信
-
area:web type:feature
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
メンテナーはふだん 1 日以内に返信
Taleef7/JobTrail の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
google-agentic-commerce/AP2#388 ·
-
area:codegen backend:cuda backend:hip bug direction:input
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
CrossGL/crosstl#3061 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
rlaope/oh-my-hermes#2304 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
mochan-tk/agentic-dev-kit-for-codex#64 ·
メンテナーはふだん 1 日以内に返信
-
bug docs performance
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
メンテナーはふだん 3 日以内に返信