Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Dense FP32 (and FP16) matmul on the Android JNI tier: attention runs scalar today

Đang mở
  • Có gì không ổn?
#1,275 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
android, c, kotlin
Lĩnh vực
machine-learning, mobile, performance

Hướng nghiên cứu

Start by reading fp32_matmul.c, fp16_matmul.c, and the JNI exports in native/skainet_jni.c; then trace how JniKernelProvider registers kernels and review JniKernelParityTest and KernelSupportMatrixTest. Add the requested JNI matmul variants and registrations, verify scalar parity including offset and strided operands, regenerate the support matrix, and measure the whisper-tiny encoder on a device. Done means bit-identical attention-shape results and at least 5× speedup on a Pixel 7 Pro/8a-class phone.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

compute-backend enhancement skill:android skill:native

Context

A fully offline Android transcription app built on LiteRT (Whisper large-v3-turbo split encoder/decoder on OpenCL FP16, Parakeet TDT 0.6B, Silero VAD on ONNX Runtime) was evaluated as a SKaiNET consumer. Its author's own measurements on a Pixel 7 Pro are the bar: LiteRT CPU XNNPACK transcribes a 14 s memo in 82.2 s (RTF 5.9); the GPU path needs 34.4 s.

Since 0.50.0 the Android JNI tier (skainet-backend-jni-cpu) serves every GGML quant format from mapped weights on NEON, and 0.52.0 made the dispatch self-installing. That covers the weight side of a Whisper encoder (Q8_0 from whisper.cpp GGUFs, 874 MB). What it does not cover is the activation side.

Gap

The generated kernel support matrix (docs/.../reference/kernel-support-matrix.adoc, 0.54.0) lists Float32 and BFloat16 as scalar on Android, and native/skainet_jni.c exports only q40/q4k/q50/q51/q5k/q6k/q80 matmul entries plus the ternary gemv. A Whisper large-v3-turbo encoder issues, per layer, 20 heads of QKᵀ ([1500,64]×[64,1500]) and AV ([1500,1500]×[1500,64]) as FP32 activation × activation matmuls, 32 layers deep, plus two conv1d stem layers. On Android all of that runs through the scalar Kotlin path, so the quantized weight kernels cannot make the encoder fast on their own.

fp32_matmul.c already exists in skainet-backend-native-cpu (aarch64-verified, see #920) and the JVM reaches it through FFM; Android does not.

Scope

  • JNI entries for dense FP32 matmul, including a batched variant and a transposed-right-operand variant (A × Bᵀ) so attention does not pay a transpose copy per head, using the existing skainet_row_threads pool.
  • FP16 weight matmul on the JNI tier, since whisper.cpp ships F16 GGUFs and fp16_matmul.c is in tree (#885 tracks the FFM side of the same kernel).
  • JniKernelProvider registrations so KernelDispatch selects them on Android at the native priority.
  • Parity tests against ScalarFp32MatmulKernel in JniKernelParityTest, including offset/strided operands (the #1173 class of bug).
  • KernelSupportMatrixTest regenerated: Float32 and Float16 show native-jni on Android.
  • Device measurement with the M2-A5 harness: whisper-tiny encoder before/after.

Acceptance

  • Bit-identical results to the scalar path on device for the attention shapes above.
  • whisper-tiny.en encoder on a Pixel 7 Pro / 8a class phone at least 5× faster than the scalar Android baseline.

Related

  • #920 — NEON kernels to mobile (the JNI tier this extends)
  • #885 — FP16 native kernel on the FFM tier
  • #949 — the non-matmul Android overhead this issue does not address (see the companion issue on fused elementwise/norm kernels)
Ngôn ngữ chính
Kotlin
Star
52
Fork
15
Merge trung bình
1 ngày 4 giờ
Pull request đã merge (30 ngày)
37

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của SKaiNET-developers/SKaiNET

Tất cả issue của SKaiNET-developers/SKaiNET

Issue tương tự

Thêm issue về Kotlin

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.