vllm-project/vllm

[torch.compile] E2E correctness testing for fusions

Open

#39.428 geöffnet am 9. Apr. 2026

Auf GitHub ansehen
 (8 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (16.816 Forks)batch import
help wantedtorch.compile

Repository-Metriken

Stars
 (80.034 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 9T 2h) (921 gemergte PRs in 30 T)

Beschreibung

E2E tests for fusions (tests/compile/fusions_e2e) have done a great job preventing fusion regressions where model/forward code changes break a custom torch.compile fusion pass. However, we currently have no way of testing correctness for these fusion configurations.

It would be good to investigate an approach where we only run a few layers of a model and compare the outputs. This would be helpful for correctness testing in general, and we could compare the outputs to both a baseline vLLM configuration and the huggingface baseline.

This would likely require some work to fix weight loading for models like DeepSeek when --hf-overrides.num_hidden_layers is overriden.

Contributor Guide

Research-Richtung
Untersuchen Sie, wie nur wenige Schichten eines Modells für End to End Korrektheitstests von torch.compile Fusionen ausgeführt werden, vergleichen Sie die Ausgaben mit der Baseline vLLM und HuggingFace Konfiguration und beheben Sie das Gewichtsladen für Modelle wie DeepSeek beim Überschreiben von num hidden layers.
Tech Stack
pythonpytorch
Domain
backend
Issue Type
Test
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonPyTorchtorch.compile
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
45