Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

audio-cpp using a fish-audio doesn't work with referance audio/text

Aperta
  • Qualcosa non va?
#11,626 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
48/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
cpp, go
Ambito
audio-video-rtc, backend

Direzione di ricerca

Inizia esaminando la gestione da parte del backend audio-cpp dell’audio di riferimento e del testo di riferimento inline, usando lo YAML del modello e i log forniti per riprodurre l’errore di Fish Audio. Esamina PR #11620 perché riguarda la stessa area dell’audio/testo di riferimento; il lavoro è completato quando il flusso TTS di voice-library funziona con i modelli Fish Audio senza richiedere un’opzione reference_text non disponibile.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

area/backends bug unconfirmed

LocalAI version:
localai/localai:master-gpu-hipblas
sha256:f3ff922777a09ec7f63093df7482ebb15d3f94c0f8611d49143fe455b4f7144d

Environment, CPU architecture, OS, and Version:
I'm doing this on unraid 7.3, using portainer.
AMD Ryzen 9 5900X
Radeon AI PRO R9700
Local AI is setup using distribution mode with nodes.

Describe the bug
When I try and use TTS with a voice that was a referance audio with text using audio-cpp backend with a fish-audio family model I get this error Error: rpc error: code = Internal desc = Fish Audio prepare with inline reference audio requires reference_text option

To Reproduce
My model yaml looks like this.

name: audio-cpp-chatterbox
backend: audio-cpp

flash_attention: true

known_usecases:
    - tts
    - audio_transform

tts:
    voice_cloning: true

parameters:
    model: audio-cpp/Fish-Audio-S2-Pro-GGUF/fish-audio-s2-pro-q8_0.gguf

the model is downloaded from https://huggingface.co/audio-cpp/audio.cpp-gguf/tree/main/Fish-Audio-S2-Pro-GGUF

Inside voice library I click "Use in Text to Speech" and then when I try and generate anything it will error Error: rpc error: code = Internal desc = Fish Audio prepare with inline reference audio requires reference_text option

Expected behavior
to be able to use different models with audio-cpp like the fish-audio family of models

Logs
node-backend-logs-audio-cpp-chatterbox-2026-08-20.json

Additional context
There is another PR that is touching ref audio/text inside audio-cpp https://github.com/mudler/LocalAI/pull/11620 if changes are done from master then there might be merge conflicts.

Lingua principale
Go
Stelle
49.2k
Fork
4.5k
Merge medio
1g 7h
PR unite (30g)
357

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di mudler/LocalAI

Tutte le issue di mudler/LocalAI

Issue simili

Altre issue su Go

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.