vllm-project/vllm

[Feature]: Implement Concurrent Partial Prefills In V1 Engine

Open

#14.003 geöffnet am 28. Feb. 2025

Auf GitHub ansehen
 (17 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (16.816 Forks)batch import
feature requesthelp wantedunstale

Repository-Metriken

Stars
 (80.034 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 3T 17h) (993 gemergte PRs in 30 T)

Beschreibung

🚀 The feature, motivation and pitch

In V0, we support concurrent partial prefills to avoid TTFT latency with long requests. Implement it in V1

cc @WoosukKwon

Alternatives

No response

Additional context

No response

Before submitting a new issue...

  • Make sure you already searched for relevant issues, and asked the chatbot living at the bottom right corner of the documentation page, which can answer lots of frequently asked questions.

Contributor Guide

Research-Richtung
Beginnen Sie mit dem Studium der V0 Implementierung von gleichzeitigen partiellen Prefills im vllm Repository, wobei der Schwerpunkt auf dem Scheduler und dem Model Runner liegt. ÜberprĂŒfen Sie die Issue Kommentare auf DesignbeschrĂ€nkungen. Identifizieren Sie die Unterschiede der V1 Engine und schlagen Sie eine Integration vor, die TTFT Latenz Overhead vermeidet. BerĂŒcksichtigen Sie vorhandene Diskussionen oder verwandte PRs als Leitfaden.
Tech Stack
python
Domain
backendinfrastructure
Issue Type
Funktion
SchwierigkeitGeschĂ€tzte Implementierungsschwierigkeit fĂŒr neue Contributors, von 1 fĂŒr sehr kleine Änderungen bis 5 fĂŒr Expertenarbeit.
4
GeschÀtzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Über 1 Woche
AktivitĂ€tsstatusWie verfĂŒgbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nĂ€chsten Schritt erklĂ€rt.
Recherche nötig
Voraussetzungen
PythonCUDA
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schĂ€tzt, wie zugĂ€nglich dieses Issue fĂŒr First-Time Contributors ist.
15