May I ask if the gguf inference for wan2.2-i2v is supported?
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python, pytorch
調査の方向性
Start in pipelines/wan_video.py at from_pretrained and _from_state_dict, then inspect models/wan/wan_dit.py at from_state_dict and the failing load_state_dict call. Compare the checkpoint's patch_embedding shape with the model configuration to determine whether Wan2.2-I2V GGUF is supported or the usage is mismatched; done means the supported configuration or required correction is documented.
索引モデルが issue の本文から書いたものです。
説明
May I ask if the gguf inference for wan2.2-i2v is supported?
use model QuantStack/Wan2.2-T2V-A14B-GGUF
`model_path = [
"/model_files/Wan2.2-I2V-A14B-GGUF/LowNoise/Wan2.2-I2V-A14B-LowNoise-Q4_K_S.gguf",
"/model_files/Wan2.2-I2V-A14B-GGUF/HighNoise/Wan2.2-I2V-A14B-HighNoise-Q4_K_S.gguf"
]
t5_path = "/model_files/wan2.1-umt5/umt5.safetensors"
vae_path = "/model_files/muse/wan2.2-vae/__version/vae.safetensors"
config = WanPipelineConfig(
model_path=model_path,
t5_path=t5_path,
vae_path=vae_path,
device="cuda:0",
offload_mode="cpu_offload"
)
pipe = WanVideoPipeline.from_pretrained(config)`
It seems that it cannot be operated.
File "/miniconda3/envs/diffSynth-engine/lib/python3.10/site-packages/diffsynth_engine/pipelines/wan_video.py", line 506, in from_pretrained
return cls.from_state_dict(state_dicts, config)
File "/miniconda3/envs/diffSynth-engine/lib/python3.10/site-packages/diffsynth_engine/pipelines/wan_video.py", line 520, in from_state_dict
pipe = cls._from_state_dict(state_dicts, config)
File "/miniconda3/envs/diffSynth-engine/lib/python3.10/site-packages/diffsynth_engine/pipelines/wan_video.py", line 566, in _from_state_dict
dit = WanDiT.from_state_dict(
File "miniconda3/envs/diffSynth-engine/lib/python3.10/site-packages/diffsynth_engine/models/wan/wan_dit.py", line 417, in from_state_dict
model.load_state_dict(state_dict, assign=assign)
File "/miniconda3/envs/diffSynth-engine/lib/python3.10/site-packages/diffsynth_engine/models/base.py", line 20, in load_state_dict
super().load_state_dict(state_dict, strict=strict, assign=assign)
File "/miniconda3/envs/diffSynth-engine/lib/python3.10/site-packages/torch/nn/modules/module.py", line 2581, in load_state_dict
raise RuntimeError(
RuntimeError: Error(s) in loading state_dict for WanDiT:
size mismatch for patch_embedding.weight: copying a param with shape torch.Size([5120, 36, 1, 2, 2]) from checkpoint, the shape in current model is torch.Size([5120, 16, 1, 2, 2])
Is it my usage method that has the problem?
Thank you very much for being able to clarify my doubts.
- 主要言語
- Python
- スター
- 432
- フォーク
- 51
- 平均マージ
- 3日 5時間
- マージ済み PR(30日)
- 1
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
modelscope/DiffSynth-Engine のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 55/100
modelscope/DiffSynth-Engine#266 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
modelscope/DiffSynth-Engine#238 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
modelscope/DiffSynth-Engine#235 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
modelscope/DiffSynth-Engine#224 · コメント 2 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 32/100
modelscope/DiffSynth-Engine#223 · コメント 2 件 ·
modelscope/DiffSynth-Engine の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
xinnan-tech/xiaozhi-fde-talk#263 ·
-
rules
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
huggingface/Repo2RLEnv#163 · コメント 1 件 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 95/100
huggingface/sentence-transformers#4074 ·
-
comp/dashboard invalid P3
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
NousResearch/hermes-agent#121143 ·