Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Qwen3 0.6B fails to load after flutter_edge_ai 2.3 / litertlm 1.13 bump

Đang mở
  • Có gì không ổn?
#286 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
18/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
android, dart
Lĩnh vực
machine-learning, mobile

Hướng nghiên cứu

Start with the failing path in the LiteRT-LM client at src/ffi/litert_lm_client.dart (initialize, around line 956) and LiteRtLmEngine.createModel in litert_lm_engine.dart (line 167), then reproduce with integration_test/llm_stability_e2e_test.dart, which is listed in all_tests.dart. The open question is whether Qwen3-0.6B needs re-conversion for LiteRT-LM 0.18 or a different load setting, and the issue still lacks those probe results. Done means either the model loads on the bumped packages or AIModelId.qwen25_05b is gated behind a load check with a fallback to Gemma.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug P1-High

Summary

After bumping to flutter_edge_ai 2.3.2 / flutter_edge_ai_litertlm 1.13.2 (LiteRT-LM 0.18.0, see #257), Qwen3 0.6B (Qwen3-0.6B.litertlm) no longer loads on device. The same file loads and answers on our current packages. Gemma 4 E2B is unaffected.

Error

BackendInitException: all FFI backends failed. Last attempted cpu. Attempts:
  gpu: Exception: Failed to create engine. Model may be invalid: .../app_flutter/Qwen3-0.6B.litertlm;
  cpu: Exception: Failed to create engine. Model may be invalid: .../app_flutter/Qwen3-0.6B.litertlm
#0 LiteRtLmFfiClient.initialize (flutter_edge_ai_litertlm/src/ffi/litert_lm_client.dart:956)
#1 LiteRtLmEngine.createModel (litert_lm_engine.dart:167)

Logged just before: [LiteRtLmFfi] litert_lm_engine_create took 91ms, then [LiteRtLmEngine] cpu backend failed, no candidates are left.

Evidence it is the package, not our code or the file

Result
Old: flutter_gemma 1.8.3 + _litertlm 1.6.3 (native 0.16.0), same phone, same file loads, replies (<think> ... )
New: flutter_edge_ai 2.3.2 + _litertlm 1.13.2 (native 0.18.0-e) Failed to create engine. Model may be invalid on GPU and CPU
File on device 614,236,160 bytes, identical size to the pushed fixture
Gemma 4 E2B (gemma-4-E2B-it.litertlm) on the new packages all cases pass

Device: vivo 1933, Android 11 (API 30), arm64. The native bundle downloaded and verified its checksum (native-v0.18.0-e), so it is not a corrupt download.

How it was found

New device test integration_test/llm_stability_e2e_test.dart (runs every model fixture). Before it, every baseline and post-bump device test ran on Gemma, so the Qwen regression was invisible.

Impact

Qwen3 0.6B is in our local catalog (AIModelId.qwen25_05b). On the bumped packages it cannot be activated, so anyone who picked it would get no local model.

Open

  • Probe in progress: does a different maxTokens (256 / 1024 / 4096) or an explicit CPU backend load it? Results will be added here.
  • Whether the file needs re-converting for LiteRT-LM 0.18 (the upstream "Model may be invalid" text suggests a format check). I could not confirm without upstream.

Proposed handling

  1. Report upstream (flutter_edge_ai) with the table above.
  2. Until fixed, do not ship the bump with Qwen3 0.6B in the catalog, or gate it behind a load check with a clear message and fall back to Gemma.
  3. Keep llm_stability_e2e_test in all_tests.dart so this is caught on every device run.

Related: #257 (the bump), #88 (device tests).

Ngôn ngữ chính
Dart
Star
2
Fork
2
Merge trung bình
19 giờ 21 phút
Pull request đã merge (30 ngày)
37

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của basictech01/uniun

Tất cả issue của basictech01/uniun

Issue tương tự

Thêm issue về Dart

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.