Elastic on-device inference - swap LLM mid-generation and carry KV cache (molt / kvine)
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 20/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Sôi nổi
- Lĩnh vực
- ai, machine-learning, mobile-dev
Hướng nghiên cứu
Read the molt and kvine proposals linked in the issue and compare them with ExecuTorch’s on-device inference capabilities. The issue asks maintainers to choose a direction and offers an RFC, but does not define a specific code change or completion criteria.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
🚀 The feature, motivation and pitch
Hi, proposing a concrete contribution for ExecuTorch:
Proposal 1: molt - elastic on-device inference
Swap the LLM mid-sentence and carry the KV cache across.
When a generation hits memory pressure, it migrates to a smaller model between tokens instead of being reclaimed or restarted.
Repo: https://github.com/NagaYu/molt
Proposal 2: kvine - branch-aware KV cache
Treats agent trajectories as a persistent copy-on-write tree (PyTorch + HF Transformers), useful for branching on-device agents.
Repo: https://github.com/NagaYu/kvine
Portfolio: https://nagayu-portfolio.nagayu.workers.dev/en
Happy to open a PR for Proposal 1 first as an example / RFC if you are open to it. Which would be most useful for ExecuTorch?
MIT for research. Open to commercial license discussion.
Alternatives
No response
Additional context
No response
RFC (Optional)
No response
- Ngôn ngữ chính
- Python
- Star
- 5.1k
- Fork
- 1.2k
- Merge trung bình
- 1 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 684
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của pytorch/executorch
-
Windows: _get_flatc_path() looks for data/bin/flatc but the wheel ships flatc.exe (WinError 2)Có thể đã có người làm @JacobSzwejbka đã nhận 2 ngày trước. Đang mởbug module: exir triaged
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 83/100
pytorch/executorch#23989 · 1 reaction · 3 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Portable remainder kernel: wrong sign for integers and float64 rounded to floatCó thể đã có người làm @JakeStevens đã nhận 11 ngày trước. Đang mởbug module: kernels triaged
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
pytorch/executorch#23682 · 2 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement triaged
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 68/100
pytorch/executorch#21640 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
pytorch/executorch#24125 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Arm/TOSA: allow int64 through when the spec declares the int64 extensionCó thể đã có người làm @abm-77 đã nhận hôm nay. Đang mởbug module: arm partner: arm
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 54/100
pytorch/executorch#24095 · 4 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của pytorch/executorch
Issue tương tự
-
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 85/100
WLAN-Pi/wlanpi-profiler#341 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Memory leak: the shared `validation_aborted_error` keeps every traceback it is raised throughCó thể đã có người làm @Fire162 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
graphql-python/graphql-core#287 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
roman-corgi/ctc-dip#160 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
type-bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
render_findings.py reads and writes in the host's default encoding, so findings.html breaks on a cp1252 Windows hostCó thể đã có người làm @Aaqibhafeezkhan đã nhận hôm nay. Đang mởbug good first issue mentored python size: XS up-for-grabs
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
dheerajjha/mcp-migrate#366 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày