vllm-project/vllm

[Feature]: Extract KV-Cache update from all attention backends

Open

#32.335 geöffnet am 14. Jan. 2026

Auf GitHub ansehen
 (51 Kommentare) (0 Reaktionen) (9 zugewiesene Personen)Python (16.816 Forks)batch import
feature requestgood first issuehelp wanted

Repository-Metriken

Stars
 (80.034 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 3T 17h) (993 gemergte PRs in 30 T)

Beschreibung

🚀 The feature, motivation and pitch

Similar to how https://github.com/vllm-project/vllm/pull/25954 extracts it from FlashAttn. Ideally, we want to cover all backends with kv-cache update from v1/attention/backends.

Backends:

  • FlashAttention
  • FlashInfer
  • AiterFlashAttention (in progress)
  • RocmAiterUnifiedAttention
  • RocmAttention
  • TritonAttention
  • FlashAttentionDiffKV
  • FlexAttention
  • TreeAttention

MLA Backends:

  • FlashAttnMLA
  • FlashInferMLA
  • FlashMLASparse
  • FlashMLA
  • AiterMLA
  • ROCMAiterMLASparse
  • CutlassMLA
  • TritonMLA

After all backends are supported, we can remove slot_mapping from attention metadata.

Alternatives

No response

Additional context

No response

Before submitting a new issue...

  • Make sure you already searched for relevant issues, and asked the chatbot living at the bottom right corner of the documentation page, which can answer lots of frequently asked questions.

Contributor Guide

Research-Richtung
Studieren Sie den PR #25954 zur KV Cache Extraktion von FlashAttention als Referenz und wenden Sie dann ein ähnliches Muster auf das AiterFlashAttention Backend an. Verstehen Sie das Ziel der Entfernung von slot mapping.
Tech Stack
python
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
5
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Über 1 Woche
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Pythonattention mechanisms
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
20