NVIDIA-NeMo/Speech

Speed up RNNT model inference using TRT

Aberta

#14.531 aberto em 20 de ago. de 2025

Ver no GitHubGuia do colaborador
 (1 comentário) (0 reação) (1 responsável)Python (3.565 forks)github user discovery
ASRcommunity-requesthelp wantedwaiting-on-customer

Métricas do repositório

Stars
 (18.182 estrelas)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Hi,

I previously trained an RNNT model and now want to accelerate it by converting it to TensorRT. I’ve exported the model to ONNX and have encoder.onnx and decoder.onnx.

I’m using the TensorRT 25.03 Docker image and trtexec to convert the models. The decoder works fine with --fp16, but when I use --fp16 for the encoder, some outputs return NaN and the results are incorrect.

Has anyone encountered this issue or knows how to fix it?

Are there any methods to accelerate RNNT model inference?

Guia do colaborador

Direção de pesquisa
Investigue por que a inferência FP16 falha para o modelo codificador. Verifique os logs do TensorRT em busca de avisos, confirme o suporte do operador para FP16, considere o uso de quantização INT8 ou fp16 com a flag best. Examine também a exportação ONNX para operadores problemáticos.
Pilha de tecnologia
python
Domain
aiperformance
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonTensorRTONNX
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40