ggml-org/llama.cpp

tts : add support for Orpheus

Open

#12.476 geöffnet am 20. März 2025

Auf GitHub ansehen
 (7 Kommentare) (26 Reaktionen) (0 zugewiesene Personen)C++ (110.169 Stars) (18.202 Forks)batch import
good first issuetts

Beschreibung

HF: https://huggingface.co/collections/canopylabs/orpheus-tts-67d9ea3f6c05a941c06ad9d2

These TTS models seem suitable for supporting. To do that, we need to implement the SNAC audio codec: https://github.com/hubertsiuzdak/snac/

Sample implementation using Python-based inference of SNAC: https://github.com/isaiahbjork/orpheus-tts-local

Similar model support (OuteTTS): https://github.com/ggml-org/llama.cpp/pull/10784 Can be used as a reference how to implement this.

Contributor Guide

Tech Stack
cpp
Domain
machine learningai
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 days
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
active
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
C++audio codec fundamentalsllama.cpp model integration
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
35
Research-Richtung
Study the linked OuteTTS PR (https://github.com/ggml org/llama.cpp/pull/10784) to understand the pattern for adding new TTS model support. Then implement the SNAC audio codec as described in the SNAC repository (https://github.com/hubertsiuzdak/snac/) and adapt the Orpheus TTS model using the provided HF collection and sample implementation. The implementation will likely involve new model architecture files in the llama.cpp codebase.