Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Test Gemma 4 -gpu model files before switching the catalog

Đang mở
  • Có gì không ổn?
#219 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
55/100
Loại issue
Tính năng
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
dart
Lĩnh vực
machine-learning, mobile

Hướng nghiên cứu

Start with #216 and the catalog entry in lib/data/repositories/ai_model_repository_impl.dart. On a real phone, compare the generic and -gpu Gemma 4 E2B files on GPU, then force CPU with the -gpu file; repeat for E4B if E2B looks promising. Done means the load, prefill, decode, and memory comparisons support a clear decision about whether to switch, while confirming whether CPU fallback still works.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement P3-Low

What

Test whether the special GPU model files for Gemma 4 are better for us, before changing the catalog.

Why

Both Gemma 4 repos on Hugging Face ship two versions of the model:

Model What we download today Also available
Gemma 4 E2B gemma-4-E2B-it.litertlm gemma-4-E2B-it-gpu.litertlm
Gemma 4 E4B gemma-4-E4B-it.litertlm gemma-4-E4B-it-gpu.litertlm

Now that the app prefers the GPU on Android (#216), the -gpu file might load faster or run faster.

But the model card doesn't explain what's different, so we should not switch blindly.

Risk to check

The -gpu file may be GPU-only. If it is, our CPU fallback would break — phones where the GPU fails would not be able to run Gemma 4 at all. This has to be tested before switching.

How to test (on a real phone)

  1. Download both files for Gemma 4 E2B.
  2. Run the same prompt with each, on GPU, and compare from the log:
    • load time
    • prefill (reading the prompt) time
    • decode (writing the answer) speed
    • memory use
  3. Force CPU with the -gpu file and check it still loads. If it doesn't, we can't use it as the only download.
  4. Repeat for E4B if E2B looks good.

Decide

  • Faster and still works on CPU → switch the catalog URL in lib/data/repositories/ai_model_repository_impl.dart
  • Faster but GPU-only → keep the generic file (or download per device, which is a bigger change)
  • No real difference → keep the generic file and close this

Depends on #216.

Ngôn ngữ chính
Dart
Star
2
Fork
2
Merge trung bình
1 ngày 35 phút
Pull request đã merge (30 ngày)
36

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của basictech01/uniun

Tất cả issue của basictech01/uniun

Issue tương tự

Thêm issue về Dart

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.