vllm-project/vllm

[Feature]: Support DCP with FP8 KV Cache

Chiusa

#32.010 aperta il 9 gen 2026

Vedi su GitHubGuida contributor
 (4 commenti) (0 reazioni) (0 assegnatari)Python (16.816 fork)batch import
feature requesthelp wanted

Metriche repository

Star
 (80.034 stelle)
Metriche merge PR
 (Merge medio 3g 17h) (993 PR mergiate in 30 g)

Descrizione

🚀 The feature, motivation and pitch

DCP is great Fp8 kv cache is great We should support both at the same time:

(EngineCore_DP0 pid=2734260) ERROR 01-08 23:29:29 [core.py:900] RuntimeError: Worker failed with error 'DCP not support fp8 kvcache now.', please check the stack trace above for the root cause

Alternatives

No response

Additional context

No response

Before submitting a new issue...

  • Make sure you already searched for relevant issues, and asked the chatbot living at the bottom right corner of the documentation page, which can answer lots of frequently asked questions.

Guida contributor

Direzione di ricerca
Investigare come sono implementati DCP (Distributed Checkpoint) e la cache KV FP8 in vllm. Identificare i percorsi del codice in cui viene sollevato l'errore 'DCP not support fp8 kvcache now' e pianificare l'integrazione delle due funzionalità.
Tech stack
python
Dominio
backendai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonvLLM internals
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40