Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

SmolLM2-135M compiled leg: DSL → StableHLO → IREE showcase (gemma-iree precedent)

Abierto
  • ¿Algo no está bien?
#305 5 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
25/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Tranquilo
Stack tecnológico
kotlin
Área
backend, machine-learning

Línea de trabajo

Read llm-runtime/gemma-iree/src/nativeMain/IreeRuntime.kt, GemmaDecoder.kt, and GemmaKvDecoder.kt, then inspect the host-side :llm-inference:gemma StableHLO export. The issue asks for a SmolLM2 export and compiled decode path integrated with the #272 cross-target reproducer; done means eager and compiled results can be compared on the listed targets. This spans model export, runtime architecture, and multiple platforms.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Split out from #272 — the eager-path scope of that issue is done (the
SmolLm2InferenceSpike.kt commonTest reproducer, AndroidSmolLm2E2eTest.kt,
and the feature/smoll disposition are all resolved). This issue tracks the
one item that's still open: the compiled path.

Ask

Add the SmolLM2-135M-Instruct compiled leg — DSL → nn-DAG → StableHLO → IREE
— following the :llm-runtime:gemma-iree precedent:

  1. A gemma3 (or smollm2) → StableHLO export on the host side, matching
    :llm-inference:gemma's existing gemma3 → StableHLO export that produces
    the .vmfb + .irpa pair.
  2. A :llm-runtime:smollm2-iree-shaped module (or extend gemma-iree if the
    architecture is close enough) with the on-device decode loop —
    IreeRuntime + a *Decoder, mirroring GemmaDecoder/GemmaKvDecoder in
    llm-runtime/gemma-iree/src/nativeMain.
  3. Wire it into the same cross-target reproducer harness from #272 so eager
    vs. compiled numbers are directly comparable per target (JVM, Android,
    iOS simulator/device, linuxX64/Arm64, macosArm64).

Why this model

SmolLM2-135M-Instruct (138 MiB, GGUF Q8_0) is already the standard
cross-target reproducer per #272 — small enough for CI, phones and
simulators, llama-architecture. Using the same checkpoint for the compiled
leg gives an apples-to-apples eager-vs-compiled comparison per target instead
of introducing a second model just for this path.

Context

  • Field report that motivated the reproducer effort: SKaiNET-developers/SKaiNET's mobile
    field report (context in #272).
  • gemma-iree precedent: llm-runtime/gemma-iree (IreeRuntime.kt,
    GemmaDecoder.kt, GemmaKvDecoder.kt in src/nativeMain), paired with the
    host-side gemma3 → StableHLO export in :llm-inference:gemma.
Lenguaje dominante
Kotlin
Estrellas
8
Forks
3
Merge medio
1 d 16 h
PR fusionados (30 d)
48

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de SKaiNET-developers/SKaiNET-transformers

Todos los issues de SKaiNET-developers/SKaiNET-transformers

Issues similares

Más issues de Kotlin

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.