Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

RuntimeError: [/pytorch/third_party/gloo/gloo/transport/tcp/unbound_buffer.cc:78] Timed out waiting 1800000ms for recv operation to complete

Aperta
  • Qualcosa non va?
#62 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
38/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Tranquilla
Stack tecnologico
python, pytorch
Ambito
distributed-systems, machine-learning

Direzione di ricerca

Inizia dalla riga 160 di scripts/training_scripts/accelerate_train.py, quindi leggi mova/engine/trainer/accelerate/accelerate_trainer.py intorno a train() e _save_checkpoint(). Traccia la chiamata fallita a accelerator.save_state() fino al salvataggio dell’ottimizzatore FSDP di Accelerate e a PyTorch distributed checkpoint scatter_object_list. Il lavoro è completo quando viene riprodotto il timeout su una singola macchina con 8-NPU e viene definita una soluzione verificata oppure documentata chiaramente una limitazione.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

npu-sft训练中报：
[rank1139]: RuntimeError: [/pytorch/third_party/gloo/gloo/transport/tcp/unbound_buffer.cc:78] Timed out waiting 1800000ms for recv operation to complete [rank1136]: Traceback (most recent call last): [rank1136]: File "/root/work/filestorage/gh/code/MOVA-feat-npu/scripts/training_scripts/accelerate_train.py", line 160, in <module> [rank1136]: main() [rank1136]: File "/root/work/filestorage/gh/code/MOVA-feat-npu/scripts/training_scripts/accelerate_train.py", line 156, in main [rank1136]: trainer.train() [rank1136]: File "/root/work/filestorage/gh/code/MOVA-feat-npu/mova/engine/trainer/accelerate/accelerate_trainer.py", line 509, in train [rank1136]: self._save_checkpoint() [rank1136]: File "/root/work/filestorage/gh/code/MOVA-feat-npu/mova/engine/trainer/accelerate/accelerate_trainer.py", line 572, in _save_checkpoint [rank1136]: self.accelerator.save_state(os.path.join(step_dir, "accelerator")) [rank1136]: File "/opt/mamba/envs/ascend-torch/lib/python3.11/site-packages/accelerate/accelerator.py", line 3662, in save_state [rank1136]: save_fsdp_optimizer(self.state.fsdp_plugin, self, opt, self._models[i], output_dir, i) [rank1136]: File "/opt/mamba/envs/ascend-torch/lib/python3.11/site-packages/accelerate/utils/fsdp_utils.py", line 273, in save_fsdp_optimizer [rank1136]: dist_cp.save( [rank1136]: File "/opt/mamba/envs/ascend-torch/lib/python3.11/site-packages/torch/distributed/checkpoint/logger.py", line 87, in wrapper [rank1136]: result = func(*args, **kwargs) [rank1136]: ^^^^^^^^^^^^^^^^^^^^^ [rank1136]: File "/opt/mamba/envs/ascend-torch/lib/python3.11/site-packages/torch/distributed/checkpoint/utils.py", line 475, in inner_func [rank1136]: return func(*args, **kwargs) [rank1136]: ^^^^^^^^^^^^^^^^^^^^^ [rank1136]: File "/opt/mamba/envs/ascend-torch/lib/python3.11/site-packages/torch/distributed/checkpoint/state_dict_saver.py", line 176, in save [rank1136]: return _save_state_dict( [rank1136]: ^^^^^^^^^^^^^^^^^ [rank1136]: File "/opt/mamba/envs/ascend-torch/lib/python3.11/site-packages/torch/distributed/checkpoint/state_dict_saver.py", line 362, in _save_state_dict [rank1136]: central_plan: SavePlan = distW.reduce_scatter("plan", local_step, global_step) [rank1136]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ [rank1136]: File "/opt/mamba/envs/ascend-torch/lib/python3.11/site-packages/torch/distributed/checkpoint/utils.py", line 217, in reduce_scatter [rank1136]: result = self.scatter_object(all_results) [rank1136]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ [rank1136]: File "/opt/mamba/envs/ascend-torch/lib/python3.11/site-packages/torch/distributed/checkpoint/utils.py", line 162, in scatter_object [rank1136]: dist.scatter_object_list( [rank1136]: File "/opt/mamba/envs/ascend-torch/lib/python3.11/site-packages/torch/distributed/c10d_logger.py", line 81, in wrapper [rank1136]: return func(*args, **kwargs) [rank1136]: ^^^^^^^^^^^^^^^^^^^^^ [rank1136]: File "/opt/mamba/envs/ascend-torch/lib/python3.11/site-packages/torch/distributed/distributed_c10d.py", line 3762, in scatter_object_list [rank1136]: broadcast(max_tensor_size, group_src=group_src, group=group) [rank1136]: File "/opt/mamba/envs/ascend-torch/lib/python3.11/site-packages/torch/distributed/c10d_logger.py", line 81, in wrapper [rank1136]: return func(*args, **kwargs) [rank1136]: ^^^^^^^^^^^^^^^^^^^^^ [rank1136]: File "/opt/mamba/envs/ascend-torch/lib/python3.11/site-packages/torch/distributed/distributed_c10d.py", line 2830, in broadcast [rank1136]: work.wait() [rank1136]: RuntimeError: [/pytorch/third_party/gloo/gloo/transport/tcp/unbound_buffer.cc:78] Timed out waiting 1800000ms for recv operation to complete
报错在一台机器上8卡npu，开源软件accelerator 调用gloo tcp 等待死锁导致主进程被杀死。

Lingua principale
Python
Stelle
1.1k
Fork
97
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenMOSS/MOVA

Tutte le issue di OpenMOSS/MOVA

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.