lingbot-video-moe-30b-a3b_ti2v.sh多机训练问题，每个机器各跑个的，没有并行
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 45/100
- Issue-Typ
- Bug
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Aktiv
- Tech-Stack
- python
- Bereich
- distributed-systems
Rechercherichtung
Start by reading accelerate_config_moe.yaml and lingbot-video-moe-30b-a3b_ti2v.sh, then trace how the sample script launches Accelerate and DeepSpeed across machines. Check the launch configuration against the observed behavior that each machine trains independently. Done means the four machines participate in the same parallel training run.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
accelerate_config_moe.yaml配置修改如下，其他没有修改，直接运行样例脚本lingbot-video-moe-30b-a3b_ti2v.sh，没有并行起来
compute_environment: LOCAL_MACHINE
debug: false
deepspeed_config:
gradient_accumulation_steps: 1
offload_optimizer_device: none
offload_param_device: none
zero3_init_flag: true
zero_stage: 3
zero3_save_16bit_model: true
distributed_type: DEEPSPEED
downcast_bf16: 'no'
enable_cpu_affinity: true
machine_rank: 0
main_training_function: main
mixed_precision: bf16
num_machines: 4
num_processes: 32
main_process_ip: 192.168.16.46
main_process_port: 29500
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: false
- Vorherrschende Sprache
- Python
- Sterne
- 13.2k
- Forks
- 1.3k
- Ø Merge
- 3 T. 17 Std.
- Gemergte PRs (30 T.)
- 32
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus modelscope/DiffSynth-Studio
-
Partial download surfaces as "Cannot detect the model type" rather than a download errorEvtl. wieder frei Ein Pull Request dazu wurde ohne Merge geschlossen. Offen
Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 78/100
modelscope/DiffSynth-Studio#1668 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bfloat16训练时段错误: 数组越界的一种方案Evtl. wieder frei Ein Pull Request dazu wurde ohne Merge geschlossen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
modelscope/DiffSynth-Studio#1499 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 78/100
modelscope/DiffSynth-Studio#1373 · 5 Kommentare · 1 Reaktion ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100
modelscope/DiffSynth-Studio#1756 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 15/100
modelscope/DiffSynth-Studio#1751 ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in modelscope/DiffSynth-Studio
Ähnliche Issues
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 88/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
aws-samples/sample-per-model-bedrock#261 ·
Maintainer antworten meist innerhalb von 1 Tag
-
[UI/Accessibility] Low contrast text visibility in country selection dropdown on settings pageOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
pwncollege/dojo#1188 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug launcher packaging
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 88/100
tenstorrent/tt-studio#1426 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
python-attrs/cattrs#796 ·
Maintainer antworten meist innerhalb von 1 Tag