vllm-project/vllm

[Feature]: Integrate RMS+fp4 fused kernel from FlashInfer

Fermée

#32 612 ouverte le 19 janv. 2026

Voir sur GitHubGuide contributeur
 (14 commentaires) (0 réaction) (1 personne assignée)Python (16 816 forks)batch import
feature requestgood first issuehelp wantedstaletorch.compile

Métriques du dépôt

Stars
 (80 034 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

🚀 The feature, motivation and pitch

Kernel: https://github.com/flashinfer-ai/flashinfer/blob/main/flashinfer/norm.py#L406-L409

This should be integrated in the existing rms + quant fusion pass using a similar approach as the silu+fp4 fusion in the act quant fusion pass.

Alternatives

No response

Additional context

No response

Before submitting a new issue...

  • Make sure you already searched for relevant issues, and asked the chatbot living at the bottom right corner of the documentation page, which can answer lots of frequently asked questions.

Guide contributeur

Direction de recherche
Étudiez le passage de fusion RMS+quantification existant et le passage de fusion silu+fp4 dans la fusion de quantification d'activation. Intégrez ensuite le noyau RMS+fp4 de FlashInfer en suivant le même modèle.
Stack technique
python
Domaine
backendperformance
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonCUDAGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40