W4A16 FP4 build succeeds while silently realizing FP32 (no warning, no refusal)

Offen
#4,833 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 6 Tagen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
48/100
Issue-Typ
Bug
Klarheit
Größtenteils klar
Aktivitätsstatus
Aktiv
Tech-Stack
cpp

Rechercherichtung

Beginne beim TensorRT-Builder-Pfad, der FLOAT4E2M1 weight-QDQ-Graphen verarbeitet, und vergleiche W4A16 mit der bestehenden W4A4-Ablehnung. Reproduziere das Verhalten mit dem beschriebenen Graphen, untersuche die Build-Ausgabe und die tatsächlich verwendete Präzision und verwende anschließend das Timing von trtexec --loadEngine, um zu bestätigen, dass der Abschluss eine Warnung oder Ablehnung bedeutet und nicht eine stumme FP32-Engine.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Module:Quantization

Summary

A W4A16 build succeeds while silently dequantizing FP4 weights to FP32. Nothing in the build output indicates the requested precision was not realized, so a user can benchmark an "FP4 engine" that is executing FP32.

Affects: TensorRT 10.16, still observed on 11.2.1.

Detail

Feeding a genuine FLOAT4E2M1 weight-QDQ graph to TensorRT:

  • W4A4 fails loudly ("type not supported yet") — this is fine and is the correct behaviour.
  • W4A16 succeeds and silently realizes FP32.

We only detected this because our device payload records precision_realized independently of the requested precision. Two independent observations on the same engine: the manifest reports realized precisions FP32, INT8 for a graph requested as fp4, and the same engine subsequently fails to complete a trtexec --loadEngine timing run.

The ask

Not an FP4 Conv kernel. The request is that the builder warn or refuse when an explicitly quantized precision is discarded, exactly as it already refuses W4A4. A silent downcast to FP32 is a correctness trap: it converts a precision request into a performance measurement of something else entirely.

Vorherrschende Sprache
C++
Sterne
13.5k
Forks
2.4k
Ø Merge
6 T. 21 Std.
Gemergte PRs (30 T.)
3

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus NVIDIA/TensorRT

Alle Issues in NVIDIA/TensorRT

Ähnliche Issues

Weitere Issues zu C++

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.