Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

audio-cpp using a fish-audio doesn't work with referance audio/text

Đang mở
  • Có gì không ổn?
#11,626 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 3 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
48/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
cpp, go
Lĩnh vực
audio-video-rtc, backend

Hướng nghiên cứu

Bắt đầu bằng việc xem xét cách backend audio-cpp xử lý inline reference audio và reference text, sử dụng YAML của model và các log được cung cấp để tái hiện lỗi của Fish Audio. Xem lại PR #11620 vì PR này chạm đến cùng khu vực reference-audio/text; hoàn thành có nghĩa là luồng TTS của voice-library hoạt động với các model Fish Audio mà không yêu cầu tùy chọn reference_text không khả dụng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

area/backends bug unconfirmed

LocalAI version:
localai/localai:master-gpu-hipblas
sha256:f3ff922777a09ec7f63093df7482ebb15d3f94c0f8611d49143fe455b4f7144d

Environment, CPU architecture, OS, and Version:
I'm doing this on unraid 7.3, using portainer.
AMD Ryzen 9 5900X
Radeon AI PRO R9700
Local AI is setup using distribution mode with nodes.

Describe the bug
When I try and use TTS with a voice that was a referance audio with text using audio-cpp backend with a fish-audio family model I get this error Error: rpc error: code = Internal desc = Fish Audio prepare with inline reference audio requires reference_text option

To Reproduce
My model yaml looks like this.

name: audio-cpp-chatterbox
backend: audio-cpp

flash_attention: true

known_usecases:
    - tts
    - audio_transform

tts:
    voice_cloning: true

parameters:
    model: audio-cpp/Fish-Audio-S2-Pro-GGUF/fish-audio-s2-pro-q8_0.gguf

the model is downloaded from https://huggingface.co/audio-cpp/audio.cpp-gguf/tree/main/Fish-Audio-S2-Pro-GGUF

Inside voice library I click "Use in Text to Speech" and then when I try and generate anything it will error Error: rpc error: code = Internal desc = Fish Audio prepare with inline reference audio requires reference_text option

Expected behavior
to be able to use different models with audio-cpp like the fish-audio family of models

Logs
node-backend-logs-audio-cpp-chatterbox-2026-08-20.json

Additional context
There is another PR that is touching ref audio/text inside audio-cpp https://github.com/mudler/LocalAI/pull/11620 if changes are done from master then there might be merge conflicts.

Ngôn ngữ chính
Go
Star
49.2k
Fork
4.5k
Merge trung bình
19 giờ 42 phút
Pull request đã merge (30 ngày)
299

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của mudler/LocalAI

Tất cả issue của mudler/LocalAI

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.