[ENHANCEMENT] Query-Aware Cache Selection for Efficient LLM Serving
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 8/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Ambito
- machine-learning, performance
Direzione di ricerca
This is a design proposal rather than a scoped task: it sketches a query-aware caching layer (profiler, policy manager, scheduler integration) for LLM serving, and the payload names no file, module or test in veScale. A newcomer would first have to confirm whether veScale, a PyTorch training framework, even contains the serving scheduler and cache storage the proposal assumes, and whether the referenced TinyServe paper is meant to be ported. Done would mean an agreed design with maintainers before any code; with no comments or assignee after 456 days, that conversation has not started.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem Description
I would like to enhance the cache mechanism for LLM serving in Volcengine. The goal is to make the cache usage more adaptive to heterogeneous query workloads by dynamically adjusting reuse strategies.
Proposed Solution
The proposed enhancement is a Query-Aware Cache Selection (QACS) mechanism:
- Lightweight Query Profiling: Efficiently estimate query complexity (length, entropy, semantic redundancy).
- Dynamic Cache Selection: Adaptively choose between aggressive reuse, partial reuse, or fresh recomputation.
- Policy Control: Expose configurable knobs (
reuse_ratio,cache_budget,latency_accuracy_tradeoff) for fine-grained control. - Scheduler Integration: Integrate into the Volcengine serving scheduler for runtime-aware resource allocation.
Alternatives Considered
- Uniform cache reuse across all queries, which is simple but cannot adapt to different workloads.
- Manual configuration at deployment time, which lacks flexibility and incurs higher operational overhead.
The proposed TinyServe provides adaptive, per-query cache control without requiring manual tuning.
Implementation Plan
- Implement a query profiler module (<1ms overhead).
- Add a policy manager to select caching strategies on the fly.
- Integrate with existing cache storage and serving scheduler.
- Provide developer-facing APIs for configuration.
Additional Context
- This enhancement has been validated at scale across multiple LLMs, consistently improving efficiency and robustness.
- Reference: Dong Liu et al., “TinyServe: Query-Aware Cache Selection for Efficient LLM Serving,” ACM Multimedia 2025 (Oral).
- Expected benefits:
- ⚡ Efficiency: Up to 3x latency reduction under mixed workloads.
- 🎯 Quality: Maintains high generation quality even with aggressive cache usage.
- 📈 Scalability: Supports larger models within the same GPU budget.
- Lingua principale
- Python
- Stelle
- 1k
- Fork
- 65
- Merge medio
- 21h 34m
- PR unite (30g)
- 1
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di volcengine/veScale
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 12/100
volcengine/veScale#75 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
volcengine/veScale#73 · 1 commento · 3 reazioni ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 8/100
volcengine/veScale#72 · 5 reazioni ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 30/100
volcengine/veScale#68 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 12/100
volcengine/veScale#63 ·
Tutte le issue di volcengine/veScale
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
docling-project/docling-pipelines#669 ·
I maintainer di solito rispondono entro 1 giorno
-
blocked kind/enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
opendatahub-io/agent-eval-harness#329 · 2 commenti · 1 reazione ·
-
cc_wrapper crashes with ValueError on Windows when a path is on another driveForse già presa @TrapsterDK l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 79/100
tweag/rules_haskell#2492 ·
I maintainer di solito rispondono entro 1 giorno