W4A16 FP4 build succeeds while silently realizing FP32 (no warning, no refusal)

Ouverte
#4,833 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 6 jours

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
48/100
Type d'issue
Bug
Clarté
Plutôt claire
Activité
Active
Stack technique
cpp

Piste de recherche

Commencez par le chemin du builder TensorRT qui gère les graphes weight-QDQ FLOAT4E2M1 et comparez W4A16 avec le rejet existant de W4A4. Reproduisez le cas avec le graphe décrit, examinez la sortie du build et la précision effectivement utilisée, puis utilisez le timing de trtexec --loadEngine pour confirmer que l’achèvement signifie un avertissement ou un refus, plutôt qu’une engine FP32 silencieuse.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Module:Quantization

Summary

A W4A16 build succeeds while silently dequantizing FP4 weights to FP32. Nothing in the build output indicates the requested precision was not realized, so a user can benchmark an "FP4 engine" that is executing FP32.

Affects: TensorRT 10.16, still observed on 11.2.1.

Detail

Feeding a genuine FLOAT4E2M1 weight-QDQ graph to TensorRT:

  • W4A4 fails loudly ("type not supported yet") — this is fine and is the correct behaviour.
  • W4A16 succeeds and silently realizes FP32.

We only detected this because our device payload records precision_realized independently of the requested precision. Two independent observations on the same engine: the manifest reports realized precisions FP32, INT8 for a graph requested as fp4, and the same engine subsequently fails to complete a trtexec --loadEngine timing run.

The ask

Not an FP4 Conv kernel. The request is that the builder warn or refuse when an explicitly quantized precision is discarded, exactly as it already refuses W4A4. A silent downcast to FP32 is a correctness trap: it converts a precision request into a performance measurement of something else entirely.

Langage dominant
C++
Étoiles
13.5k
Forks
2.4k
Merge moyen
6 j 21 h
PR mergées (30 j)
3

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de NVIDIA/TensorRT

Toutes les issues de NVIDIA/TensorRT

Issues similaires

Plus d'issues C++

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.