Repository Issues
vllm-project/vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
Issues
Offen
[Docs] Document NIXL KV connector metrics aggregation semantics
good first issue
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
8 Kommentare1 Reaktion1 zugewiesene Person
Offen
[Feature]: Integrate fused `kMoEFinalizeARResidualRMSNorm` from FlashInfer
feature requesthelp wanted
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
5 Kommentare1 Reaktion0 zugewiesene Personen
Offen
[Feature]: Priority scheduling supports preemption of requests in the running queue by requests in the waiting queue
feature requesthelp wanted
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
6 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
[torch.compile] config hashing refactor follow-ups
feature requestgood first issuehelp wanted
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
16 Kommentare0 Reaktionen3 zugewiesene Personen
Offen
[torch.compile] E2E correctness testing for fusions
help wantedtorch.compile
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
8 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
[Bug]: Certain Ranks Take a Look Time to Load Weights
bughelp wanted
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
3 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
[Transformers v5] InternVL2
good first issuehelp wanted
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
5 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
Upgrade to Transformers v5
help wanted
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
4 Kommentare13 Reaktionen1 zugewiesene Person
Offen
[Feature]: Better Flashinfer compilation logging
feature requesthelp wanted
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
9 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
[RFC]: Support ViT Full CUDA Graph (Tracker)
RFChelp wantedmulti-modality
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
23 Kommentare1 Reaktion0 zugewiesene Personen
Offen
[Feature]: Unify MoE "Oracles" with Class Structure
feature requestgood first issuehelp wanted
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
8 Kommentare0 Reaktionen1 zugewiesene Person
Offen
[Feature]: Upstream DGX spark improvements from Avarok-Cybersecurity/dgx-vllm
feature requesthelp wantednvidiaquantization
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
13 Kommentare1 Reaktion0 zugewiesene Personen
Offen
[Performance]: qknorm+rope fusion slower than unfused on H100
help wantedperformancetorch.compile
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
12 Kommentare1 Reaktion1 zugewiesene Person
Offen
[Roadmap]: PD Disaggregation with `NixlConnector` Roadmap
feature requesthelp wanted
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
5 Kommentare15 Reaktionen0 zugewiesene Personen
Offen
[Feature]: Remove attention layer name from `unified_kv_cache_update`
feature requestgood first issuehelp wantedstalestartup-uxtorch.compile
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
8 Kommentare1 Reaktion2 zugewiesene Personen
Offen
[Bug]: Wrong timestamps if audio > 30s
buggood first issuehelp wanted
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
11 Kommentare1 Reaktion2 zugewiesene Personen
Offen
[Feature]: Extract KV-Cache update from all attention backends
feature requestgood first issuehelp wanted
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
51 Kommentare0 Reaktionen9 zugewiesene Personen
Offen
[Feature]: Refactor Int8ScaledMMLinearLayerConfig to use QuantKey
feature requestgood first issuehelp wanted
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
7 Kommentare0 Reaktionen1 zugewiesene Person
Offen
[Feature]: Use kernel abstraction for fp4 scaled mm
feature requesthelp wantedunstale
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
12 Kommentare0 Reaktionen1 zugewiesene Person
Offen
[Feature]: Error Logging Redesign
feature requesthelp wanted
Warum empfohlenEinsteigerfreundliches Label vorhanden · Beitragsleitfaden verfügbar
Einsteigerfreundliches Label vorhandenBeitragsleitfaden verfügbar
7 Kommentare0 Reaktionen1 zugewiesene Person