FunctionGemma export: convert MLIR-text rewrites to StableHLO/DAG transforms

Aperta

#248 aperta il 24/7/2026 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà: 5/5
Tempo stimato: Più di una settimana
Idoneità per principianti: 25/100

Tipo di issue: Refactoring
Chiarezza: Specificata chiaramente
Stato di attività: Tranquilla
Stack tecnologico: kotlin
Ambito: machine-learning

Direzione di ricerca

Start with FunctionGemmaExport.kt and the GemmaModel.forwardWithPast implementation, then read PR #245 and sl2610-function-calling/docs/GEMMA-KV-INT8.md for context. The work covers five separate graph and model changes, including quantization and dynamic-shape tracing. It is done when each listed text rewrite and positional resolution is replaced by the specified graph transform or typed module access.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

The FunctionGemma KV/int8 decode graphs are DSL/DAG-authored, but the graph post-processing in
FunctionGemmaExport.kt is done by regex rewrites of the emitted StableHLO text, not graph passes.
Convert each to the SKaiNET way (a StableHLO/DAG transform):

bf16 weight emission (rewriteGlobalsToBf16) → a DAG/StableHLO dtype transform (leverage DtypeForwardPropagationPass).
int8 quant (rewriteGlobalsToInt8 injecting dequant as text) → a real graph quantization pass; keep the host per-row quant writer, emit i8→f32 × scale as graph nodes.
Dynamic KV dims — retire the sentinel-prime 7919 → x?x string relax (most fragile: a magic prime that must not collide with a real dim/SSA id) → proper dynamic-shape tracing.
GemmaModel.forwardWithPast attnWithPast (hand-wired single-token attention) → an MHA-with-past module forward.
refsFor positional sub-module resolution → typed HybridTransformerBlock field access.

Context: PR #245. Tracker: SKaiNET-embedded sl2610-function-calling/docs/GEMMA-KV-INT8.md.

Lingua principale: Kotlin
Stelle: 8
Fork: 3
Merge medio: 1g 16h
PR unite (30g): 48

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

Leggi tutta la issue e poi la guida ai contributi del progetto.
Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
Fai un fork del repository e lavora su un branch.
Apri una pull request che faccia riferimento al numero della issue.

Altre issue di SKaiNET-developers/SKaiNET-transformers

[Lane 5 · docs] tokenizer.json parity — maturity gate bullet, one documented entry point, tokenizer.json ↔ GGUF field mapping
Aperta
- Qualcosa non va?
documentation good first issue size:xs skill:docs sub-issue

Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

SKaiNET-developers/SKaiNET-transformers#478 · 1 commento · Aperta il 10/10/2026

I maintainer di solito rispondono entro 1 giorno
[bitnet] planesHeadFromEmbedding takes ~45 s single-threaded at load (tied 128k×2560 head) — parallelise, cache or AOT-convert
Aperta
- Qualcosa non va?
enhancement skill:kotlin-core

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

SKaiNET-developers/SKaiNET-transformers#502 · Aperta il 17/10/2026

I maintainer di solito rispondono entro 1 giorno
Llama decode wrong for SmolLM2-135M: early <|im_end|>, long-prompt degeneration, '1 2 3…9' → ' 1 1 1 1' — positions/RoPE suspected, tokenizer ruled out
Aperta
- Qualcosa non va?
bug

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

SKaiNET-developers/SKaiNET-transformers#483 · Aperta il 11/10/2026

I maintainer di solito rispondono entro 1 giorno
[Lane 4 · kotlin-core] tokenizer.json parity — gated parity test replaying the goldens through both tokenizer.json entry points
Aperta
- Qualcosa non va?
coding good first issue size:s skill:kotlin-core sub-issue

Difficoltà 4/5 1-2 giorni Idoneità per principianti 64/100

SKaiNET-developers/SKaiNET-transformers#477 · 1 commento · Aperta il 10/10/2026

I maintainer di solito rispondono entro 1 giorno
[Lane 4 · numerics] tokenizer.json parity — HF golden encode fixtures for every shipped family that loads a tokenizer.json
Aperta
- Qualcosa non va?
coding good first issue size:s skill:numerics sub-issue

Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100

SKaiNET-developers/SKaiNET-transformers#476 · 1 commento · Aperta il 10/10/2026

I maintainer di solito rispondono entro 1 giorno

Tutte le issue di SKaiNET-developers/SKaiNET-transformers

Issue simili

[Kotlin] A delivery section in Spanish in the Kotlin README: clone, open, run the demo
Aperta
- Qualcosa non va?
area/kotlin

Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100

K-Forge/KApp#161 · Aperta il 20/10/2026

I maintainer di solito rispondono entro 1 giorno
GoogleLLMClient serializes empty "toolConfig": {} when no tools are used, causing HTTP 400 (INVALID_ARGUMENT) from Gemini API
Aperta
- Qualcosa non va?
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

JetBrains/koog#2308 · Aperta il 20/10/2026

I maintainer di solito rispondono entro 1 giorno
Améliorer l'accessibilité et les textes de l'interface expérimentale
Aperta
- Qualcosa non va?
good first issue help wanted

Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100

dafonton77-tech/Cadreenf#11 · Aperta il 20/10/2026
[bug] History nests /new rotation sessions as forks (missing `_reset_from` check), so WeChat/history ordering looks wrong
Aperta
- Qualcosa non va?
Difficoltà 2/5 1-3 ore Idoneità per principianti 80/100

Hy4ri/hermes-mobile#1647 · Aperta il 20/10/2026

I maintainer di solito rispondono entro 1 giorno
Document / clarify behavior for empty lists in likeAll/likeAny,...
Aperta
- Qualcosa non va?
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100

supabase-community/supabase-kt#1429 · Aperta il 20/10/2026

I maintainer di solito rispondono entro 5 giorni

Altre issue su Kotlin

FunctionGemma export: convert MLIR-text rewrites to StableHLO/DAG transforms

Qualcosa non va?

Valutazione

Direzione di ricerca

Descrizione

Preparare l'ambiente

Come iniziare

Altre issue di SKaiNET-developers/SKaiNET-transformers

Qualcosa non va?

Qualcosa non va?

Qualcosa non va?

Qualcosa non va?

Qualcosa non va?

Issue simili

Qualcosa non va?

Qualcosa non va?

Qualcosa non va?

Qualcosa non va?

Qualcosa non va?

Ricevi le nuove issue nella tua casella