ggml-org/llama.cpp

tts : add support for Orpheus

Open

Aperta il 20 mar 2025

Vedi su GitHub
 (7 commenti) (26 reazioni) (0 assegnatari)C++ (110.169 star) (18.202 fork)batch import
good first issuetts

Descrizione

HF: https://huggingface.co/collections/canopylabs/orpheus-tts-67d9ea3f6c05a941c06ad9d2

These TTS models seem suitable for supporting. To do that, we need to implement the SNAC audio codec: https://github.com/hubertsiuzdak/snac/

Sample implementation using Python-based inference of SNAC: https://github.com/isaiahbjork/orpheus-tts-local

Similar model support (OuteTTS): https://github.com/ggml-org/llama.cpp/pull/10784 Can be used as a reference how to implement this.

Guida contributor

Tech stack
cpp
Dominio
backendmachine learning
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 days
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
C++Git
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60
Direzione di ricerca
Studia le specifiche del codec audio SNAC e l'implementazione Python di riferimento. Esamina la pull request di OuteTTS (#10784) in llama.cpp per un'integrazione simile del modello. Quindi progetta l'implementazione C++ del codec SNAC all'interno del framework llama.cpp, seguendo i pattern del PR di OuteTTS.