vllm-project/vllm

[Feature]: Use kernel abstraction for fp4 scaled mm

Open

#31.823 aberto em 6 de jan. de 2026

Ver no GitHub
 (12 comments) (0 reactions) (1 assignee)Python (16.816 forks)batch import
feature requesthelp wantedunstale

Métricas do repositório

Stars
 (80.034 stars)
Métricas de merge de PR
 (Mesclagem média 3d 17h) (993 fundiu PRs em 30d)

Description

🚀 The feature, motivation and pitch

See MPLinearKernel and ScaledMMLinearKernel.

Alternatives

No response

Additional context

No response

Before submitting a new issue...

  • Make sure you already searched for relevant issues, and asked the chatbot living at the bottom right corner of the documentation page, which can answer lots of frequently asked questions.

Guia do colaborador

Direção de pesquisa
Examine as classes MPLinearKernel e ScaledMMLinearKernel existentes para entender o padrão atual de dispatch do kernel. Em seguida, projete uma abstração comum que encapsule todas as variantes do kernel, garantindo que ela se integre à base de código existente sem quebrar a funcionalidade atual.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30