huggingface/diffusers

F5-TTS Integration

Open

#10 043 ouverte le 28 nov. 2024

Voir sur GitHub
 (11 commentaires) (0 réactions) (0 assignés)Python (4 562 forks)batch import
contributions-welcomehelp wanted

Métriques du dépôt

Stars
 (22 190 stars)
Métriques de merge PR
 (Merge moyen 13j 1h) (96 PRs mergées en 30 j)

Description

Model/Pipeline/Scheduler description

F5-TTS is a fully non-autoregressive text-to-speech system based on flow matching with Diffusion Transformer (DiT). It has excellent voice cloning capabilities, and audio generation is of quite high quality.

Open source status

  • The model implementation is available.
  • The model weights are available (Only relevant if addition is not a scheduler).

Provide useful links for the implementation

Paper - https://arxiv.org/abs/2410.06885 Code - https://github.com/SWivid/F5-TTS?tab=readme-ov-file Weights - https://huggingface.co/SWivid/F5-TTS

Author - @SWivid

Guide contributeur

Direction de recherche
Tout d'abord, étudiez l'article F5 TTS (arXiv:2410.06885) et son implémentation de référence sur github.com/SWivid/F5 TTS. Identifiez les composants principaux : le backbone Diffusion Transformer (DiT), la perte de flow matching et la logique de clonage vocal. Ensuite, examinez la structure de la bibliothèque diffusers, en particulier le pipeline AudioDiffusion (par exemple, diffusers/examples/audio diffusion) pour comprendre comment ajouter un nouveau pipeline. Créez un prototype qui charge les poids pré entraînés depuis huggingface.co/SWivid/F5 TTS et implémente le forward pass. Vérifiez les issues ou PR existants pour des intégrations similaires afin d'éviter les doublons.
Stack technique
pythonpytorch
Domaine
machine learningai
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonPyTorchGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60