vllm-project/vllm

[torch.compile] E2E correctness testing for fusions

Open

#39.428 aberto em 9 de abr. de 2026

Ver no GitHub
 (8 comments) (0 reactions) (0 assignees)Python (16.816 forks)batch import
help wantedtorch.compile

Métricas do repositório

Stars
 (80.034 stars)
Métricas de merge de PR
 (Mesclagem média 9d 2h) (921 fundiu PRs em 30d)

Description

E2E tests for fusions (tests/compile/fusions_e2e) have done a great job preventing fusion regressions where model/forward code changes break a custom torch.compile fusion pass. However, we currently have no way of testing correctness for these fusion configurations.

It would be good to investigate an approach where we only run a few layers of a model and compare the outputs. This would be helpful for correctness testing in general, and we could compare the outputs to both a baseline vLLM configuration and the huggingface baseline.

This would likely require some work to fix weight loading for models like DeepSeek when --hf-overrides.num_hidden_layers is overriden.

Guia do colaborador

Direção de pesquisa
Investigue como executar apenas algumas camadas de um modelo para teste de correção de ponta a ponta das fusões torch.compile, compare as saídas com a configuração baseline do vLLM e do HuggingFace, e corrija o carregamento de pesos para modelos como DeepSeek ao substituir num hidden layers.
Pilha de tecnologia
pythonpytorch
Domain
backend
Tipo Issue
Teste
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonPyTorchtorch.compile
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
45