Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

audio-cpp using a fish-audio doesn't work with referance audio/text

Abierto
  • ¿Algo no está bien?
#11,626 1 comentario 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
48/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
cpp, go
Área
audio-video-rtc, backend

Línea de trabajo

Comienza revisando cómo el backend audio-cpp gestiona el audio de referencia y el texto de referencia inline, usando el YAML del modelo y los logs proporcionados para reproducir el error de Fish Audio. Revisa PR #11620 porque afecta a la misma área de audio/texto de referencia; se considera terminado cuando el flujo de TTS de voice-library funciona con modelos de Fish Audio sin requerir una opción reference_text no disponible.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

area/backends bug unconfirmed

LocalAI version:
localai/localai:master-gpu-hipblas
sha256:f3ff922777a09ec7f63093df7482ebb15d3f94c0f8611d49143fe455b4f7144d

Environment, CPU architecture, OS, and Version:
I'm doing this on unraid 7.3, using portainer.
AMD Ryzen 9 5900X
Radeon AI PRO R9700
Local AI is setup using distribution mode with nodes.

Describe the bug
When I try and use TTS with a voice that was a referance audio with text using audio-cpp backend with a fish-audio family model I get this error Error: rpc error: code = Internal desc = Fish Audio prepare with inline reference audio requires reference_text option

To Reproduce
My model yaml looks like this.

name: audio-cpp-chatterbox
backend: audio-cpp

flash_attention: true

known_usecases:
    - tts
    - audio_transform

tts:
    voice_cloning: true

parameters:
    model: audio-cpp/Fish-Audio-S2-Pro-GGUF/fish-audio-s2-pro-q8_0.gguf

the model is downloaded from https://huggingface.co/audio-cpp/audio.cpp-gguf/tree/main/Fish-Audio-S2-Pro-GGUF

Inside voice library I click "Use in Text to Speech" and then when I try and generate anything it will error Error: rpc error: code = Internal desc = Fish Audio prepare with inline reference audio requires reference_text option

Expected behavior
to be able to use different models with audio-cpp like the fish-audio family of models

Logs
node-backend-logs-audio-cpp-chatterbox-2026-08-20.json

Additional context
There is another PR that is touching ref audio/text inside audio-cpp https://github.com/mudler/LocalAI/pull/11620 if changes are done from master then there might be merge conflicts.

Lenguaje dominante
Go
Estrellas
49.2k
Forks
4.5k
Merge medio
1 d 7 h
PR fusionados (30 d)
362

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de mudler/LocalAI

Todos los issues de mudler/LocalAI

Issues similares

Más issues de Go

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.