minimax Ref2V 训练报错问题
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 3/5
- Tempo estimado
- 1-2 dias
- Facilidade para iniciantes
- 48/100
- Tipo de issue
- Bug
- Clareza
- Razoavelmente clara
- Status de atividade
- Ativa
- Stack de tecnologia
- python
- Domínio
- machine-learning
Direção de pesquisa
Start with examples/minimax_h3/model_training/train.py and trace the Adapter training setup into diffsynth/diffusion/training_module.py, diffsynth/diffusion/base_pipeline.py, and diffsynth/utils/lora/general.py, where the reported tensor shape mismatch occurs during LoRA fusion. Reproduce the Ref2V training error and inspect the involved model and adapter weight shapes; done when Adapter training proceeds past LoRA fusion without the size mismatch.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
File "/mnt/workspace/yangxin/yangxin_file/DiffSynth-Studio/examples/minimax_h3/model_training/train.py", line 62, in init
[dlcl7pmobknpjy8d-master-0] [rank6]: self.switch_pipe_to_training_mode(
[dlcl7pmobknpjy8d-master-0] [rank6]: File "/mnt/workspace/yangxin/yangxin_file/DiffSynth-Studio/diffsynth/diffusion/training_module.py", line 282, in switch_pipe_to_training_mode
[dlcl7pmobknpjy8d-master-0] [rank6]: pipe.load_lora(getattr(pipe, preset_lora_model), preset_lora_path)
[dlcl7pmobknpjy8d-master-0] [rank6]: File "/mnt/workspace/yangxin/yangxin_file/DiffSynth-Studio/diffsynth/diffusion/base_pipeline.py", line 288, in load_lora
[dlcl7pmobknpjy8d-master-0] [rank6]: lora_loader.fuse_lora_to_base_model(module, lora, alpha=alpha)
[dlcl7pmobknpjy8d-master-0] [rank6]: File "/mnt/workspace/yangxin/yangxin_file/DiffSynth-Studio/diffsynth/utils/lora/general.py", line 67, in fuse_lora_to_base_model
[dlcl7pmobknpjy8d-master-0] [rank6]: state_dict_base["weight"] = state_dict_base["weight"].to(device=self.device, dtype=self.torch_dtype) + weight_lora
[dlcl7pmobknpjy8d-master-0] [rank6]: ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~^~~~~~~~~~~~~
[dlcl7pmobknpjy8d-master-0] [rank6]: RuntimeError: The size of tensor a (0) must match the size of tensor b (5376) at non-singleton dimension 1
在使用Adapter训练Ref2V时候出现了报错，请问下，这个问题目前有解决吗
- Linguagem predominante
- Python
- Estrelas
- 13.3k
- Forks
- 1.3k
- Merge médio
- 1d 14h
- PRs com merge (30d)
- 43
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de modelscope/DiffSynth-Studio
-
Partial download surfaces as "Cannot detect the model type" rather than a download errorTalvez livre de novo Um pull request para esta issue foi fechado sem ser mesclado. Aberta
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 78/100
modelscope/DiffSynth-Studio#1668 ·
Mantenedores costumam responder em até 1 dia
-
bfloat16训练时段错误: 数组越界的一种方案Talvez livre de novo Um pull request para esta issue foi fechado sem ser mesclado. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
modelscope/DiffSynth-Studio#1499 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 78/100
modelscope/DiffSynth-Studio#1373 · 5 comentários · 1 reação ·
Mantenedores costumam responder em até 1 dia
-
OPD做步数蒸馏的疑问Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
modelscope/DiffSynth-Studio#1786 · 3 comentários ·
Mantenedores costumam responder em até 1 dia
-
wan animate2 int8量化训练支持Aberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
modelscope/DiffSynth-Studio#1785 ·
Mantenedores costumam responder em até 1 dia
Todas as issues de modelscope/DiffSynth-Studio
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
Mantenedores costumam responder em até 2 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 86/100
-
Validate finite output clamping limits in StepPredictor.prepare_clamping_params to prevent silent NaN/Inf propagationTalvez já em andamento @muskan-creates352 assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
mllam/neural-lam#848 ·
Mantenedores costumam responder em até 2 dias
-
infra
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 88/100
fab-geocommuns/RNB-coeur#1166 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
deepspeedai/DeepSpeed#8951 ·
Mantenedores costumam responder em até 2 dias