Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

Fish Speech backend using ROCM doesn't work

オープン
  • 何か問題がありますか？
#11,579 コメント 2 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

  • #11580 @localai-org-maint-bot による — マージされずにクローズ

評価

難易度
3/5
見積もり時間
1〜2日
初心者へのやさしさ
48/100
issue の種類
バグ
明瞭さ
おおむね明確
活発さ
静か
技術スタック
python
領域
ai, backend

調査の方向性

/backends/rocm-fish-speech/backend.py の LoadModel 201 行目付近から始め、報告されたイメージで fish_speech.inference_engine がどのように提供されているかを調査します。配布用セットアップでモデルの読み込みに失敗する問題を再現し、Fish Speech が ModuleNotFoundError なしで読み込まれることを確認します。

索引モデルが issue の本文から書いたものです。

説明

bug unconfirmed

LocalAI version:
localai/localai:master-gpu-hipblas
sha256:f3ff922777a09ec7f63093df7482ebb15d3f94c0f8611d49143fe455b4f7144d

Environment, CPU architecture, OS, and Version:
I'm doing this on unraid 7.3, using portainer.
AMD Ryzen 9 5900X
Radeon AI PRO R9700
Local AI is setup using distribution mode with nodes.

Describe the bug
I tried to use the fish speech backend and this is the error I get failed to route model with internal loader: routing model fishaudio/s2-pro: loading model fish-speech-s2-pro: loading model fishaudio/s2-pro on node rocinante-worker: Failed to load model: No module named 'fish_speech.inference_engine'

this is the docker log

Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="CUDA is not available" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="Using device: cpu, precision: torch.float32, compile: False" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="Loading model from: /models/fish-speech-s2-pro/.artifacts/huggingface/637e4c7713f137cd3cd5969badcf6fa2e2fedd6781c55e4fc5c1a586a64726a0/snapshot" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="[ERROR] Loading model: ModuleNotFoundError: No module named 'fish_speech.inference_engine'" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="Traceback (most recent call last):" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="  File \"/backends/rocm-fish-speech/backend.py\", line 201, in LoadModel" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="    from fish_speech.inference_engine import TTSInferenceEngine" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="ModuleNotFoundError: No module named 'fish_speech.inference_engine'" caller={caller.file="/build/pkg/model/process.go"  caller.L=30

when I try and view the trace for details and click backend log it just has

Model not loaded on any worker

fish-speech-s2-pro isn't currently loaded on any node in the cluster. Check the Nodes page to see which models are running where.

To Reproduce
I try and create a TTS with the fish-speech backend, I get this error

Expected behavior
For it to work

Logs

Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="CUDA is not available" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="Using device: cpu, precision: torch.float32, compile: False" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="Loading model from: /models/fish-speech-s2-pro/.artifacts/huggingface/637e4c7713f137cd3cd5969badcf6fa2e2fedd6781c55e4fc5c1a586a64726a0/snapshot" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="[ERROR] Loading model: ModuleNotFoundError: No module named 'fish_speech.inference_engine'" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="Traceback (most recent call last):" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="  File \"/backends/rocm-fish-speech/backend.py\", line 201, in LoadModel" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="    from fish_speech.inference_engine import TTSInferenceEngine" caller={caller.file="/build/pkg/model/process.go"  caller.L=305 } 
Aug 18 10:47:58 DEBUG GRPC stderr id="fish-speech-s2-pro#0-0.0.0.0:50051" line="ModuleNotFoundError: No module named 'fish_speech.inference_engine'" caller={caller.file="/build/pkg/model/process.go"  caller.L=30
主要言語
Go
スター
49.8k
フォーク
4.5k
平均マージ
18時間 28分
マージ済み PR（30日）
347

環境構築

Codespaces で開く

このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

mudler/LocalAI のほかの issue

mudler/LocalAI の issue をすべて見る

似ている issue

Go の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。