NVIDIA-NeMo/Speech

Speed up RNNT model inference using TRT

Ouverte

#14 531 ouverte le 20 août 2025

Voir sur GitHubGuide contributeur
 (1 commentaire) (0 réaction) (1 personne assignée)Python (3 563 forks)github user discovery
ASRcommunity-requesthelp wantedwaiting-on-customer

Métriques du dépôt

Stars
 (18 175 étoiles)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Hi,

I previously trained an RNNT model and now want to accelerate it by converting it to TensorRT. I’ve exported the model to ONNX and have encoder.onnx and decoder.onnx.

I’m using the TensorRT 25.03 Docker image and trtexec to convert the models. The decoder works fine with --fp16, but when I use --fp16 for the encoder, some outputs return NaN and the results are incorrect.

Has anyone encountered this issue or knows how to fix it?

Are there any methods to accelerate RNNT model inference?

Guide contributeur

Direction de recherche
Enquêtez sur la raison pour laquelle l'inférence FP16 échoue pour le modèle encodeur. Vérifiez les journaux TensorRT pour les avertissements, validez la prise en charge des opérateurs pour FP16, envisagez d'utiliser la quantification INT8 ou fp16 avec le drapeau best. Examinez également l'exportation ONNX pour les opérateurs problématiques.
Stack technique
python
Domaine
aiperformance
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonTensorRTONNX
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40