Elastic on-device inference - swap LLM mid-generation and carry KV cache (molt / kvine)
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 20/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Attiva
- Ambito
- ai, machine-learning, mobile-dev
Direzione di ricerca
Read the molt and kvine proposals linked in the issue and compare them with ExecuTorch’s on-device inference capabilities. The issue asks maintainers to choose a direction and offers an RFC, but does not define a specific code change or completion criteria.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
🚀 The feature, motivation and pitch
Hi, proposing a concrete contribution for ExecuTorch:
Proposal 1: molt - elastic on-device inference
Swap the LLM mid-sentence and carry the KV cache across.
When a generation hits memory pressure, it migrates to a smaller model between tokens instead of being reclaimed or restarted.
Repo: https://github.com/NagaYu/molt
Proposal 2: kvine - branch-aware KV cache
Treats agent trajectories as a persistent copy-on-write tree (PyTorch + HF Transformers), useful for branching on-device agents.
Repo: https://github.com/NagaYu/kvine
Portfolio: https://nagayu-portfolio.nagayu.workers.dev/en
Happy to open a PR for Proposal 1 first as an example / RFC if you are open to it. Which would be most useful for ExecuTorch?
MIT for research. Open to commercial license discussion.
Alternatives
No response
Additional context
No response
RFC (Optional)
No response
- Lingua principale
- Python
- Stelle
- 5.1k
- Fork
- 1.2k
- Merge medio
- 1g 22h
- PR unite (30g)
- 684
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di pytorch/executorch
-
Windows: _get_flatc_path() looks for data/bin/flatc but the wheel ships flatc.exe (WinError 2)Forse già presa @JacobSzwejbka l’ha presa 4 giorni fa. Apertabug module: exir triaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
pytorch/executorch#23989 · 1 reazione · 3 assegnatari ·
I maintainer di solito rispondono entro 1 giorno
-
Portable remainder kernel: wrong sign for integers and float64 rounded to floatForse già presa @JakeStevens l’ha presa 13 giorni fa. Apertabug module: kernels triaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
pytorch/executorch#23682 · 2 assegnatari ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement triaged
Difficoltà 2/5 Mezza giornata Idoneità per principianti 68/100
pytorch/executorch#21640 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
pytorch/executorch#24125 ·
I maintainer di solito rispondono entro 1 giorno
-
Arm/TOSA: allow int64 through when the spec declares the int64 extensionForse già presa @abm-77 l’ha presa 2 giorni fa. Apertabug module: arm partner: arm
Difficoltà 4/5 3-5 giorni Idoneità per principianti 54/100
pytorch/executorch#24095 · 4 commenti ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di pytorch/executorch
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
NVIDIA/flare-local-inference#90 ·
I maintainer di solito rispondono entro 1 giorno
-
area/streaming comp/gateway P2 platform/telegram type/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
NousResearch/hermes-agent#144897 ·
I maintainer di solito rispondono entro 1 giorno
-
request-theme
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 66/100
LizardByte/ThemerrDB#9575 ·
I maintainer di solito rispondono entro 1 giorno
-
Author Page: noshin-nawalApertaauthor-page correction
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
acl-org/acl-anthology#10599 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
zilliztech/memsearch#818 ·
I maintainer di solito rispondono entro 1 giorno