Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Test Gemma 4 -gpu model files before switching the catalog

Aperta
  • Qualcosa non va?
#219 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
55/100
Tipo di issue
Funzionalità
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
dart
Ambito
machine-learning, mobile

Direzione di ricerca

Start with #216 and the catalog entry in lib/data/repositories/ai_model_repository_impl.dart. On a real phone, compare the generic and -gpu Gemma 4 E2B files on GPU, then force CPU with the -gpu file; repeat for E4B if E2B looks promising. Done means the load, prefill, decode, and memory comparisons support a clear decision about whether to switch, while confirming whether CPU fallback still works.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement P3-Low

What

Test whether the special GPU model files for Gemma 4 are better for us, before changing the catalog.

Why

Both Gemma 4 repos on Hugging Face ship two versions of the model:

Model What we download today Also available
Gemma 4 E2B gemma-4-E2B-it.litertlm gemma-4-E2B-it-gpu.litertlm
Gemma 4 E4B gemma-4-E4B-it.litertlm gemma-4-E4B-it-gpu.litertlm

Now that the app prefers the GPU on Android (#216), the -gpu file might load faster or run faster.

But the model card doesn't explain what's different, so we should not switch blindly.

Risk to check

The -gpu file may be GPU-only. If it is, our CPU fallback would break — phones where the GPU fails would not be able to run Gemma 4 at all. This has to be tested before switching.

How to test (on a real phone)

  1. Download both files for Gemma 4 E2B.
  2. Run the same prompt with each, on GPU, and compare from the log:
    • load time
    • prefill (reading the prompt) time
    • decode (writing the answer) speed
    • memory use
  3. Force CPU with the -gpu file and check it still loads. If it doesn't, we can't use it as the only download.
  4. Repeat for E4B if E2B looks good.

Decide

  • Faster and still works on CPU → switch the catalog URL in lib/data/repositories/ai_model_repository_impl.dart
  • Faster but GPU-only → keep the generic file (or download per device, which is a bigger change)
  • No real difference → keep the generic file and close this

Depends on #216.

Lingua principale
Dart
Stelle
2
Fork
2
Merge medio
1g 35m
PR unite (30g)
36

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di basictech01/uniun

Tutte le issue di basictech01/uniun

Issue simili

Altre issue su Dart

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.