vllm-project/vllm-omni

[RFC]: Continuous Quantization Support for NPU

Open

#2 438 ouverte le 2 avr. 2026

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Python (1 067 forks)github user discovery
NPUdiffusiongood first issuehelp wantedhigh priority

Métriques du dépôt

Stars
 (4 990 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

Motivation.

  1. support DiT FA online FP8 quantization --- P0: https://github.com/vllm-project/vllm-omni/issues/2236
  2. support DiT MM online mxFP8 quantization ---P1: https://github.com/vllm-project/vllm-omni/issues/2592
  3. support MOE online mxFP8 quantization ---P1

Wan2.2: 1+2 HunyuanVideo1.5: 1+2 HunyuanImage3.0: 1+2+3

Proposed Change.

Please provide the detailed design document of the RFC using the template.

Feedback Period.

No response

CC List.

No response

Any Other Things.

No response

Before submitting a new issue...

  • Make sure you already searched for relevant issues, and asked the chatbot living at the bottom right corner of the documentation page, which can answer lots of frequently asked questions.

Guide contributeur

Direction de recherche
Analysez l'infrastructure de quantification existante dans le projet vllm omni, en vous concentrant sur les implémentations FP8 et mxFP8. Étudiez comment réaliser une quantification continue sur les NPU pour les modèles DiT et MOE. Consultez les issues liées pour plus de contexte.
Stack technique
pythonpytorch
Domaine
machine learningaibackend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Plus d'une semaine
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonPyTorchQuantization concepts
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
15