SWivid/F5-TTS

My RTF is always around 0.12 with TRT-LLM docker on L20, never match the claimed benchmark result

Ouverte

#1 214 ouverte le 10 nov. 2025

Voir sur GitHub
 (30 commentaires) (1 réaction) (0 personne assignée)Python (2 198 forks)github user discovery
documentationenhancementhelp wanted

Métriques du dépôt

Stars
 (15 141 étoiles)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Checks

  • This template is only for usage issues encountered.
  • I have thoroughly reviewed the project documentation but couldn't find information to solve my problem.
  • I have searched for existing issues, including closed ones, and couldn't find a solution.
  • I am using English to submit this issue to facilitate community communication.

Environment Details

nvidia L20, soar97/triton-f5-tts:24.12, just as https://github.com/SWivid/F5-TTS/blob/main/src/f5_tts/runtime/triton_trtllm/README.md

But my RTF is always around 0.12

⚡ Real-Time Factor:
   Mean: 0.120x
   Median: 0.112x
   Min/Max: 0.097x / 0.152x

My result is much slower than the claimed benchmark result.

What did I do wrongly ?

Steps to Reproduce

  1. find a clean L20 machine, clone the project
  2. start the triton docker MODEL=F5TTS_v1_Base docker compose up as https://github.com/SWivid/F5-TTS/blob/main/src/f5_tts/runtime/triton_trtllm/README.md said
  3. test the RTF

✔️ Expected Behavior

No response

❌ Actual Behavior

No response

Guide contributeur

Direction de recherche
Comparez la configuration Docker de l'utilisateur avec l'environnement de référence : vérifiez la version du pilote GPU, la version de TensorRT LLM et les indicateurs de lancement du conteneur (par exemple gpus all, taille de la mémoire partagée). Vérifiez si le modèle utilise FP16 et si l'optimisation TRT LLM est correctement appliquée. Consultez également d'autres utilisateurs qui ont obtenu des RTF plus élevés sur L20.
Stack technique
pythonpytorchdocker
Domaine
backendai
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
DockerGPU drivers
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50