Validate kllama Apple native-kernel fix (PR #315) on real iOS/macOS hardware
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
- 技術スタック
- kotlin
調査の方向性
The remaining work is a before/after packed-quant matmul throughput comparison on real Apple hardware; the issue does not name a benchmark file or command. First read PR #315 and the engine’s #958/#959 performance results, then locate the benchmark entry point. Record comparable results for the old stub and the fix on an Apple Silicon device; simulator or compile results alone do not meet the stated goal.
索引モデルが issue の本文から書いたものです。
説明
Context
PR #315 fixed llm-runtime/kllama's PlatformNativeKernels.ios.kt/.macos.kt,
which were stale no-op stubs — both cited SKaiNET#959 as "not shipped yet" when
it had in fact shipped, meaning kllama's registerPlatformBackends() facade
was silently leaving packed-quant matmul on the scalar floor on iOS and macOS,
despite the engine's native-cinterop NEON/Accelerate kernels being built and
available.
The fix itself (calling installNativeKernels(), mirroring linuxMain's
actual) was written and reviewed, but could not be compiled or run in the
session that produced it — that environment was Linux only, and Kotlin/Native
requires a macOS host to compile Apple targets at all. Verification there was
limited to code review and cross-target compilation (jvm/linuxX64/android/js).
What needs a Mac
-
./gradlew :llm-runtime:kllama:compileKotlinIosArm64 :llm-runtime:kllama:compileKotlinIosSimulatorArm64 :llm-runtime:kllama:compileKotlinMacosArm64— confirm the fix actually compiles (theinstallNativeKernels()import/call was written against the API but never type-checked on an Apple target). Update: it did not compile as originally written —implementation(libs.skainet.backend.nativeCpu)was still scoped tolinuxMainonly, notnativeMain, somacosMain/iosMainnever got the dependency. Fixed in PR #315 commit9bb3707; all three Apple targets now compile. - At runtime, confirm
KernelRegistry.bestAvailable()?.name(or equivalent) reportsnative-cinteropon iOS/macOS afterregisterPlatformBackends()runs, notscalar. Confirmed viaKernelRegistry.availableNames()on bothmacosArm64TestandiosSimulatorArm64Test: reports[native-cinterop]. - A real before/after comparison: packed-quant matmul throughput with the old no-op stub vs. the fix, on an actual Apple Silicon device/simulator — the engine's own NEON/cinterop work (#958/#959) reported real numbers on Android-equivalent hardware; this fix has none yet for Apple.
- Run kllama's existing test suite on
iosSimulatorArm64Test/macosArm64Test(both currently skip on CI/Linux —kotlin.native.ignoreDisabledTargets). Both green, including the cross-targetSmolLm2InferenceSpike(commonTest).
Related
- Fixed by #315
- Exercised end-to-end by SKaiNET-examples'
KernelRacesample — see SKaiNET-examples#33, which needs this issue resolved before its iOS build shows real NEON acceleration instead of scalar.
Good fit for whoever on the team has a Mac + Xcode handy — no deep kernel-SPI knowledge needed, mostly "build it, run it, check the numbers." Remaining: real-device throughput numbers (needs physical hardware time, not just simulator/compile verification).
- 主要言語
- Kotlin
- スター
- 8
- フォーク
- 3
- 平均マージ
- 1日 16時間
- マージ済み PR(30日)
- 48
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
SKaiNET-developers/SKaiNET-transformers のほかの issue
-
documentation good first issue size:xs skill:docs sub-issue
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
SKaiNET-developers/SKaiNET-transformers#478 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
enhancement skill:kotlin-core
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
SKaiNET-developers/SKaiNET-transformers#502 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
SKaiNET-developers/SKaiNET-transformers#483 ·
メンテナーはふだん 1 日以内に返信
-
coding good first issue size:s skill:kotlin-core sub-issue
難易度 4/5 1〜2日 初心者へのやさしさ 64/100
SKaiNET-developers/SKaiNET-transformers#477 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
coding good first issue size:s skill:numerics sub-issue
難易度 4/5 3〜5日 初心者へのやさしさ 55/100
SKaiNET-developers/SKaiNET-transformers#476 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
SKaiNET-developers/SKaiNET-transformers の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
coding size:s skill:kotlin-core sub-issue
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
SKaiNET-developers/SKaiNET#1421 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
intellij-elixir/intellij-elixir#4492 ·
メンテナーはふだん 1 日以内に返信
-
bug:unconfirmed
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
maxrave-dev/SimpMusic#2714 · コメント 1 件 ·
メンテナーはふだん 3 日以内に返信