huggingface/diffusers

F5-TTS Integration

Open

#10,043 建立於 2024年11月28日

在 GitHub 查看
 (11 留言) (0 反應) (0 負責人)Python (4,562 fork)batch import
contributions-welcomehelp wanted

倉庫指標

Star
 (22,190 star)
PR 合併指標
 (平均合併 13天 1小時) (30 天內合併 96 個 PR)

描述

Model/Pipeline/Scheduler description

F5-TTS is a fully non-autoregressive text-to-speech system based on flow matching with Diffusion Transformer (DiT). It has excellent voice cloning capabilities, and audio generation is of quite high quality.

Open source status

  • The model implementation is available.
  • The model weights are available (Only relevant if addition is not a scheduler).

Provide useful links for the implementation

Paper - https://arxiv.org/abs/2410.06885 Code - https://github.com/SWivid/F5-TTS?tab=readme-ov-file Weights - https://huggingface.co/SWivid/F5-TTS

Author - @SWivid

貢獻者指南

研究方向
首先，研究 F5 TTS 論文（arXiv:2410.06885）及其在 github.com/SWivid/F5 TTS 的參考實作。識別核心元件：Diffusion Transformer (DiT) 骨幹、流匹配損失和語音克隆邏輯。然後，檢視 diffusers 函式庫結構，特別是 AudioDiffusion 流水線（例如 diffusers/examples/audio diffusion），以了解如何新增流水線。建立一個原型，用於載入 huggingface.co/SWivid/F5 TTS 的預訓練權重並實作前向傳播。檢查現有 issue 或 PR，查看是否有類似的整合工作，以避免重複。
技術棧
pythonpytorch
領域
machine learningai
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
4
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
1-2 天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
大致清晰
前置要求
PythonPyTorchGit
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
60