FP16 model compilation failure with TensorRT 11.5.0.63 on 4090 RTX
Les mainteneurs répondent en général sous 6 jours
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 45/100
- Type d'issue
- Bug
- Clarté
- Clairement spécifiée
- Activité
- Active
- Stack technique
- cpp
- Domaine
- machine-learning, performance
Piste de recherche
Start by reproducing with the attached model.onnx.zip using trtexec --onnx=model.onnx --saveEngine=engine.trt on TensorRT 11.5.0.63; compare the result with TensorRT 10.16.1.11 and inspect the attached failure log. The report narrows the failure to an FP16 grouped Conv in a minimal ONNX graph. Done means identifying and fixing the TensorRT compilation failure while preserving the reported FP32 and older-version behavior.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Some models with FP16 precision fail to compile from ONNX format with error like this:
[11/18/2026-21:41:19] [W] [TRT] No low-precision conv kernel available for this strongly-typed Conv/ConvTranspose. Consider keeping Conv/ConvTranspose and Q/DQ ops in FP32 (e.g. via modelopt.onnx.autocast.convert_to_f16 with op_block_list=['Conv','ConvTranspose','QuantizeLinear','DequantizeLinear']). Failing node: conv
[11/18/2026-21:41:19] [E] Error[10]: IBuilder::buildSerializedNetworkToStream: Error Code 10: Internal Error (Could not find any implementation for node conv. In computeCosts at /_src/optimizer/common/tactic/optimizer.cpp:4235)
TensorRT 10.16.1.11 compiles these models successfully. Also, FP32 works normally in TensorRT 11.5.0.63.
I reproduced the error with the simplest ONNX sample consisted of Input->Cast(FP16)->Conv(Grouped)->Cast(FP32)->Output (attachead model.onnx.zip)
Probably problem related to group Conv optimizations.
Full failure log attached: 11.5.0.63.log
I had this issue since TensorRT 11.2.1.2 (I haven't tried versions between 10.16.1.11 and 11.2.1.2), and I thought that it is the same issue as earlier reported #4838, but I can confirm that previous issue was fixed in latest TensorRT.
Environment
TensorRT Version: 11.5.0.63
NVIDIA GPU: 4090 RTX
NVIDIA Driver Version: 620.70.06
CUDA Version: 13.3
Operating System: Ubuntu 22.04
Steps To Reproduce
Commands or scripts: trtexec --onnx=model.onnx --saveEngine=engine.trt
Have you tried the latest release?: Yes
Can this model run on other frameworks? For example run ONNX model with ONNXRuntime (polygraphy run <model.onnx> --onnxrt):Yes
- Langage dominant
- C++
- Étoiles
- 13.5k
- Forks
- 2.4k
- Merge moyen
- 6 j 21 h
- PR mergées (30 j)
- 3
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de NVIDIA/TensorRT
-
Module:Polygraphy
Difficulté 2/5 1-3 heures Accessibilité débutants 77/100
Les mainteneurs répondent en général sous 6 jours
-
Polygraphy NumPy Top-K sorts unsigned and minimum signed integers incorrectlyPeut-être pris @0z5a l’a pris il y a 16 jours. OuverteModule:Polygraphy
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 6 jours
-
Polygraphy INT32 comparison can overflow and falsely pass at zero tolerancePeut-être pris @0z5a l’a pris il y a 16 jours. OuverteModule:Polygraphy
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 6 jours
-
onnx-graphsurgeon: Graph.toposort() hits RecursionError when a graph has a local function and an If/Loop nodePeut-être pris @gabortar l’a pris il y a 39 jours. OuverteModule:GraphSurgeon
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 6 jours
-
Polygraphy parse_meta accepts a shape with a missing bracketPeut-être pris @SashaMIT l’a pris il y a 51 jours. OuverteModule:Polygraphy
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
Les mainteneurs répondent en général sous 6 jours
Toutes les issues de NVIDIA/TensorRT
Issues similaires
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 91/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 69/100
maplibre/maplibre-native#5072 ·
Les mainteneurs répondent en général sous 1 jour
-
[UBSan] spawn_simulator passes null child_options.args to uv_spawn (execvp nonnull violation)Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 79/100
tenstorrent/tt-umd#4017 ·
Les mainteneurs répondent en général sous 3 jours
-
difficulty:easy func:gui prio:low type:bug
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
NatronGitHub/Natron#1538 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
hyprwm/hyprsunset#103 · 1 commentaire ·