Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

SmolLM2-135M compiled leg: DSL → StableHLO → IREE showcase (gemma-iree precedent)

Aperta
  • Qualcosa non va?
#305 5 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
kotlin
Ambito
backend, machine-learning

Direzione di ricerca

Read llm-runtime/gemma-iree/src/nativeMain/IreeRuntime.kt, GemmaDecoder.kt, and GemmaKvDecoder.kt, then inspect the host-side :llm-inference:gemma StableHLO export. The issue asks for a SmolLM2 export and compiled decode path integrated with the #272 cross-target reproducer; done means eager and compiled results can be compared on the listed targets. This spans model export, runtime architecture, and multiple platforms.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Split out from #272 — the eager-path scope of that issue is done (the
SmolLm2InferenceSpike.kt commonTest reproducer, AndroidSmolLm2E2eTest.kt,
and the feature/smoll disposition are all resolved). This issue tracks the
one item that's still open: the compiled path.

Ask

Add the SmolLM2-135M-Instruct compiled leg — DSL → nn-DAG → StableHLO → IREE
— following the :llm-runtime:gemma-iree precedent:

  1. A gemma3 (or smollm2) → StableHLO export on the host side, matching
    :llm-inference:gemma's existing gemma3 → StableHLO export that produces
    the .vmfb + .irpa pair.
  2. A :llm-runtime:smollm2-iree-shaped module (or extend gemma-iree if the
    architecture is close enough) with the on-device decode loop —
    IreeRuntime + a *Decoder, mirroring GemmaDecoder/GemmaKvDecoder in
    llm-runtime/gemma-iree/src/nativeMain.
  3. Wire it into the same cross-target reproducer harness from #272 so eager
    vs. compiled numbers are directly comparable per target (JVM, Android,
    iOS simulator/device, linuxX64/Arm64, macosArm64).

Why this model

SmolLM2-135M-Instruct (138 MiB, GGUF Q8_0) is already the standard
cross-target reproducer per #272 — small enough for CI, phones and
simulators, llama-architecture. Using the same checkpoint for the compiled
leg gives an apples-to-apples eager-vs-compiled comparison per target instead
of introducing a second model just for this path.

Context

  • Field report that motivated the reproducer effort: SKaiNET-developers/SKaiNET's mobile
    field report (context in #272).
  • gemma-iree precedent: llm-runtime/gemma-iree (IreeRuntime.kt,
    GemmaDecoder.kt, GemmaKvDecoder.kt in src/nativeMain), paired with the
    host-side gemma3 → StableHLO export in :llm-inference:gemma.
Lingua principale
Kotlin
Stelle
8
Fork
3
Merge medio
12h 43m
PR unite (30g)
39

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di SKaiNET-developers/SKaiNET-transformers

Tutte le issue di SKaiNET-developers/SKaiNET-transformers

Issue simili

Altre issue su Kotlin

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.