SWivid/F5-TTS

My RTF is always around 0.12 with TRT-LLM docker on L20, never match the claimed benchmark result

Aberta

#1.214 aberto em 10 de nov. de 2025

Ver no GitHub
 (30 comentários) (1 reação) (0 responsável)Python (2.198 forks)github user discovery
documentationenhancementhelp wanted

Métricas do repositório

Stars
 (15.141 estrelas)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Checks

  • This template is only for usage issues encountered.
  • I have thoroughly reviewed the project documentation but couldn't find information to solve my problem.
  • I have searched for existing issues, including closed ones, and couldn't find a solution.
  • I am using English to submit this issue to facilitate community communication.

Environment Details

nvidia L20, soar97/triton-f5-tts:24.12, just as https://github.com/SWivid/F5-TTS/blob/main/src/f5_tts/runtime/triton_trtllm/README.md

But my RTF is always around 0.12

⚡ Real-Time Factor:
   Mean: 0.120x
   Median: 0.112x
   Min/Max: 0.097x / 0.152x

My result is much slower than the claimed benchmark result.

What did I do wrongly ?

Steps to Reproduce

  1. find a clean L20 machine, clone the project
  2. start the triton docker MODEL=F5TTS_v1_Base docker compose up as https://github.com/SWivid/F5-TTS/blob/main/src/f5_tts/runtime/triton_trtllm/README.md said
  3. test the RTF

✔️ Expected Behavior

No response

❌ Actual Behavior

No response

Guia do colaborador

Direção de pesquisa
Compare a configuração Docker do usuário com o ambiente de benchmark: verifique a versão do driver GPU, a versão do TensorRT LLM e os flags de inicialização do contêiner (por exemplo, gpus all, tamanho da memória compartilhada). Verifique se o modelo está usando FP16 e se a otimização TRT LLM foi aplicada corretamente. Além disso, consulte outros usuários que obtiveram RTF mais alto no L20.
Pilha de tecnologia
pythonpytorchdocker
Domain
backendai
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
DockerGPU drivers
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50