audio-cpp using a fish-audio doesn't work with referance audio/text
メンテナーはふだん 3 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 48/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
調査の方向性
まず、audio-cpp バックエンドによる inline reference audio と reference text の処理を確認し、提供された model YAML とログを使って Fish Audio のエラーを再現します。PR #11620 は同じ reference-audio/text の領域に触れているため確認してください。voice-library TTS フローが Fish Audio モデルで、利用できない reference_text オプションを要求せずに動作すれば完了です。
索引モデルが issue の本文から書いたものです。
説明
LocalAI version:
localai/localai:master-gpu-hipblas
sha256:f3ff922777a09ec7f63093df7482ebb15d3f94c0f8611d49143fe455b4f7144d
Environment, CPU architecture, OS, and Version:
I'm doing this on unraid 7.3, using portainer.
AMD Ryzen 9 5900X
Radeon AI PRO R9700
Local AI is setup using distribution mode with nodes.
Describe the bug
When I try and use TTS with a voice that was a referance audio with text using audio-cpp backend with a fish-audio family model I get this error Error: rpc error: code = Internal desc = Fish Audio prepare with inline reference audio requires reference_text option
To Reproduce
My model yaml looks like this.
name: audio-cpp-chatterbox
backend: audio-cpp
flash_attention: true
known_usecases:
- tts
- audio_transform
tts:
voice_cloning: true
parameters:
model: audio-cpp/Fish-Audio-S2-Pro-GGUF/fish-audio-s2-pro-q8_0.gguf
the model is downloaded from https://huggingface.co/audio-cpp/audio.cpp-gguf/tree/main/Fish-Audio-S2-Pro-GGUF
Inside voice library I click "Use in Text to Speech" and then when I try and generate anything it will error Error: rpc error: code = Internal desc = Fish Audio prepare with inline reference audio requires reference_text option
Expected behavior
to be able to use different models with audio-cpp like the fish-audio family of models
Logs
node-backend-logs-audio-cpp-chatterbox-2026-08-20.json
Additional context
There is another PR that is touching ref audio/text inside audio-cpp https://github.com/mudler/LocalAI/pull/11620 if changes are done from master then there might be merge conflicts.
- 主要言語
- Go
- スター
- 49.2k
- フォーク
- 4.5k
- 平均マージ
- 1日 7時間
- マージ済み PR（30日）
- 340
環境構築
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
mudler/LocalAI のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
mudler/LocalAI#11995 · コメント 1 件 ·
メンテナーはふだん 3 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
mudler/LocalAI#11991 · コメント 1 件 ·
メンテナーはふだん 3 日以内に返信
-
fish-speech: make compile:true usable on Blackwell sm_121 by honouring the CUDA toolkit's ptxasオープンenhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
mudler/LocalAI#11348 · コメント 1 件 ·
メンテナーはふだん 3 日以内に返信
-
feat: add automatic MCP transport selection for 2024-11-05 / 2025-03-26 / 2025-06-18 vs 2025-11-25オープンenhancement
難易度 3/5 1〜2日 初心者へのやさしさ 65/100
mudler/LocalAI#12262 · コメント 2 件 ·
メンテナーはふだん 3 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
メンテナーはふだん 3 日以内に返信
似ている issue
-
bug needs triage
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
netdata/netdata#24062 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
meshery/meshery#22119 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
automation documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信