SWivid/F5-TTS

My RTF is always around 0.12 with TRT-LLM docker on L20, never match the claimed benchmark result

Open

#1214 aperta il 10 nov 2025

Vedi su GitHub
 (29 commenti) (1 reazione) (0 assegnatari)Python (2149 fork)github user discovery
documentationenhancementhelp wanted

Metriche repository

Star
 (14.687 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Checks

  • This template is only for usage issues encountered.
  • I have thoroughly reviewed the project documentation but couldn't find information to solve my problem.
  • I have searched for existing issues, including closed ones, and couldn't find a solution.
  • I am using English to submit this issue to facilitate community communication.

Environment Details

nvidia L20, soar97/triton-f5-tts:24.12, just as https://github.com/SWivid/F5-TTS/blob/main/src/f5_tts/runtime/triton_trtllm/README.md

But my RTF is always around 0.12

⚡ Real-Time Factor:
   Mean: 0.120x
   Median: 0.112x
   Min/Max: 0.097x / 0.152x

My result is much slower than the claimed benchmark result.

What did I do wrongly ?

Steps to Reproduce

  1. find a clean L20 machine, clone the project
  2. start the triton docker MODEL=F5TTS_v1_Base docker compose up as https://github.com/SWivid/F5-TTS/blob/main/src/f5_tts/runtime/triton_trtllm/README.md said
  3. test the RTF

✔️ Expected Behavior

No response

❌ Actual Behavior

No response

Guida contributor

Direzione di ricerca
Confronta la configurazione Docker dell'utente con l'ambiente di benchmark: verifica la versione del driver GPU, la versione di TensorRT LLM e i flag di avvio del container (es. gpus all, dimensione della memoria condivisa). Controlla se il modello utilizza FP16 e se l'ottimizzazione TRT LLM è applicata correttamente. Inoltre, confronta con altri utenti che hanno ottenuto RTF più elevati su L20.
Tech stack
pythonpytorchdocker
Dominio
backendai
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
DockerGPU drivers
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50