vllm-project/vllm

[Feature]: Implement Concurrent Partial Prefills In V1 Engine

Open

#14.003 aperta il 28 feb 2025

Vedi su GitHub
 (17 commenti) (0 reazioni) (0 assegnatari)Python (16.816 fork)batch import
feature requesthelp wantedunstale

Metriche repository

Star
 (80.034 star)
Metriche merge PR
 (Merge medio 3g 17h) (993 PR mergiate in 30 g)

Descrizione

🚀 The feature, motivation and pitch

In V0, we support concurrent partial prefills to avoid TTFT latency with long requests. Implement it in V1

cc @WoosukKwon

Alternatives

No response

Additional context

No response

Before submitting a new issue...

  • Make sure you already searched for relevant issues, and asked the chatbot living at the bottom right corner of the documentation page, which can answer lots of frequently asked questions.

Guida contributor

Direzione di ricerca
Inizia studiando l'implementazione V0 dei prefills parziali concorrenti nel repository vllm, concentrandoti sullo scheduler e sul model runner. Rivedi i commenti dell'issue per i vincoli di progettazione. Identifica le differenze del motore V1 e proponi un'integrazione che eviti l'overhead di latenza TTFT. Considera le discussioni esistenti o le PR correlate per orientamento.
Tech stack
python
Dominio
backendinfrastructure
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
PythonCUDA
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
15