vllm-project/vllm

[Feature]: Support `Phi4Flash` model in V1

Open

#23.957 aperta il 29 ago 2025

Vedi su GitHub
 (7 commenti) (0 reazioni) (0 assegnatari)Python (16.816 fork)batch import
feature requestgood first issuehelp wantedstaleunstale

Metriche repository

Star
 (80.034 star)
Metriche merge PR
 (Merge medio 3g 17h) (993 PR mergiate in 30 g)

Descrizione

🚀 The feature, motivation and pitch

We will drop support for V0 in the very near future, and if we want to continue supporting this model in vLLM, it needs to be ported to V1.

The main work here is in:

  1. Adapting the custom Mamba layer to match how V1 manages the mamba state. The MambaMixer, MambaMixer2, MinimaxLinearAttention and ShortConv can all be used as a reference for how to do this.
  2. Porting the differential attention backend to V1.

Alternatives

Drop model support in vLLM

Additional context

No response

Before submitting a new issue...

  • Make sure you already searched for relevant issues, and asked the chatbot living at the bottom right corner of the documentation page, which can answer lots of frequently asked questions.

Guida contributor

Direzione di ricerca
Studia la gestione dello stato Mamba V1 in MambaMixer e MambaMixer2 e adatta di conseguenza il layer Mamba personalizzato di Phi4Flash. Quindi, porta il backend dell'attenzione differenziale a V1 seguendo gli esempi di MinimaxLinearAttention e ShortConv.
Tech stack
pythonpytorch
Dominio
backendmachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30