Elastic on-device inference - swap LLM mid-generation and carry KV cache (molt / kvine)
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 20/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 活跃
- 领域
- ai, machine-learning, mobile-dev
调研方向
Read the molt and kvine proposals linked in the issue and compare them with ExecuTorch’s on-device inference capabilities. The issue asks maintainers to choose a direction and offers an RFC, but does not define a specific code change or completion criteria.
由索引模型根据 Issue 内容生成。
描述
🚀 The feature, motivation and pitch
Hi, proposing a concrete contribution for ExecuTorch:
Proposal 1: molt - elastic on-device inference
Swap the LLM mid-sentence and carry the KV cache across.
When a generation hits memory pressure, it migrates to a smaller model between tokens instead of being reclaimed or restarted.
Repo: https://github.com/NagaYu/molt
Proposal 2: kvine - branch-aware KV cache
Treats agent trajectories as a persistent copy-on-write tree (PyTorch + HF Transformers), useful for branching on-device agents.
Repo: https://github.com/NagaYu/kvine
Portfolio: https://nagayu-portfolio.nagayu.workers.dev/en
Happy to open a PR for Proposal 1 first as an example / RFC if you are open to it. Which would be most useful for ExecuTorch?
MIT for research. Open to commercial license discussion.
Alternatives
No response
Additional context
No response
RFC (Optional)
No response
- 主要语言
- Python
- 星标
- 5.1k
- 派生
- 1.2k
- 平均合并
- 1 天 22 小时
- 30 天内合并 PR
- 684
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
pytorch/executorch 的其他 Issue
-
Windows: _get_flatc_path() looks for data/bin/flatc but the wheel ships flatc.exe (WinError 2)可能已有人在做 @JacobSzwejbka 于 3 天前认领。 未关闭bug module: exir triaged
难度 2/5 1-3 小时 新手友好度 83/100
pytorch/executorch#23989 · 1 个 reaction · 已指派 3 人 ·
维护者通常 1 天内回复
-
Portable remainder kernel: wrong sign for integers and float64 rounded to float可能已有人在做 @JakeStevens 于 12 天前认领。 未关闭bug module: kernels triaged
难度 2/5 1-3 小时 新手友好度 82/100
pytorch/executorch#23682 · 已指派 2 人 ·
维护者通常 1 天内回复
-
enhancement triaged
难度 2/5 半天 新手友好度 68/100
pytorch/executorch#21640 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 48/100
pytorch/executorch#24125 ·
维护者通常 1 天内回复
-
Arm/TOSA: allow int64 through when the spec declares the int64 extension可能已有人在做 @abm-77 于 1 天前认领。 未关闭bug module: arm partner: arm
难度 4/5 3-5 天 新手友好度 54/100
pytorch/executorch#24095 · 4 条评论 ·
维护者通常 1 天内回复
查看 pytorch/executorch 的全部 Issue
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 72/100
slavakurilyak/awesome-ai-agents#845 ·
维护者通常 1 天内回复
-
tests: pin that the atomic writers in utils/paths.py stage the temporary file in the target's directory可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭difficulty:2 enhancement good first issue
难度 1/5 1-3 小时 新手友好度 92/100
MakazhanAlpamys/Soup#2178 ·
维护者通常 1 天内回复
-
[BUG] dcg.waggr permutation p-values are folded twice, so near-zero scores get the smallest p-values未关闭
难度 2/5 1-3 小时 新手友好度 75/100
scverse/rapids-singlecell#854 ·
维护者通常 1 天内回复
-
Slang input: int8_t4_packed and uint8_t4_packed are copied into CrossGL可能已有人在做 @ninglinLiu 今天认领。 未关闭area:frontend backend:slang bug direction:input
难度 2/5 1-3 小时 新手友好度 70/100
维护者通常 1 天内回复
-
random_elements(unique=True) on an OrderedDict: ZeroDivisionError once only zero weights remain, AssertionError with use_weighting=False可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 2/5 1-3 小时 新手友好度 85/100
维护者通常 13 天内回复