[QUESTION] torch broadcast error
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 20/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Lĩnh vực
- distributed-systems
Hướng nghiên cứu
Start from the traceback path: vescale/dtensor/redistribute.py _replicate_tensor, then mesh_broadcast in vescale/dtensor/_collective_utils.py, and compare the computed broadcast root against the device-mesh group size. Reproduce with examples/open_llama_4D_benchmark/run_open_llama_w_vescale.py and NCCL_DEBUG=WARN, and check whether the issue is torch compatibility or root-rank construction. Done means the broadcast root is valid for the group and the example no longer raises NCCL invalid-root.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
When I run run_open_llama_w_vescale.py with torch version 2.5.1+cu124, I met the following error:
[rank4]: Traceback (most recent call last):
[rank4]: File "/code/veScale/examples/open_llama_4D_benchmark/run_open_llama_w_vescale-ljx.py", line 104, in
[rank4]: vescale_model = parallelize_module(model, device_mesh["TP"], sharding_plan)
[rank4]: File "/code/veScale/vescale/dmodule/api.py", line 276, in parallelize_module
[rank4]: DModule.init_parameters(module, is_model_sharded)
[rank4]: File "/code/veScale/vescale/dmodule/_dmodule.py", line 302, in init_parameters
[rank4]: buffer = DModule._distribute_parameter(buffer, module._device_mesh, buffer_pi, is_sharded)
[rank4]: File "/miniconda3-new/envs/llm-cuda12.4-vescale/lib/python3.10/site-packages/torch/utils/_contextlib.py", line 116, in decorate_context
[rank4]: return func(*args, **kwargs)
[rank4]: File "/code/veScale/vescale/dmodule/_dmodule.py", line 266, in _distribute_parameter
[rank4]: dt = distribute_tensor(t, device_mesh, pi.placements)
[rank4]: File "/code/veScale/vescale/dtensor/api.py", line 252, in distribute_tensor
[rank4]: local_tensor = _replicate_tensor(local_tensor, device_mesh, idx)
[rank4]: File "/code/veScale/vescale/dtensor/redistribute.py", line 191, in _replicate_tensor
[rank4]: tensor = mesh_broadcast(tensor, mesh, mesh_dim=mesh_dim)
[rank4]: File "/code/veScale/vescale/dtensor/_collective_utils.py", line 273, in mesh_broadcast
[rank4]: aysnc_tensor = funcol.broadcast(tensor, src=src_for_dim, group=dim_group)
[rank4]: File "/miniconda3-new/envs/llm-cuda12.4-vescale/lib/python3.10/site-packages/torch/distributed/_functional_collectives.py", line 153, in broadcast
[rank4]: tensor = torch.ops._c10d_functional.broadcast(self, src, group_name)
[rank4]: File "/miniconda3-new/envs/llm-cuda12.4-vescale/lib/python3.10/site-packages/torch/_ops.py", line 1116, in call
[rank4]: return self._op(*args, **(kwargs or {}))
[rank4]: torch.distributed.DistBackendError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:2777, invalid argument (run with NCCL_DEBUG=WARN for details), NCCL version 2.21.5
[rank4]: ncclInvalidArgument: Invalid value for an argument.
[rank4]: Last error:
[rank4]: Broadcast : invalid root 4 (root should be in the 0..4 range)
Is this because the torch version is not compatible?
- Ngôn ngữ chính
- Python
- Star
- 1k
- Fork
- 65
- Merge trung bình
- 21 giờ 34 phút
- Pull request đã merge (30 ngày)
- 1
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của volcengine/veScale
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 12/100
volcengine/veScale#75 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 10/100
volcengine/veScale#73 · 1 bình luận · 3 reaction ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100
volcengine/veScale#72 · 5 reaction ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 30/100
volcengine/veScale#68 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100
volcengine/veScale#65 ·
Tất cả issue của volcengine/veScale
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
docling-project/docling-pipelines#669 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
blocked kind/enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
opendatahub-io/agent-eval-harness#329 · 2 bình luận · 1 reaction ·
-
cc_wrapper crashes with ValueError on Windows when a path is on another driveCó thể đã có người làm @TrapsterDK đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 79/100
tweag/rules_haskell#2492 ·
Maintainer thường phản hồi trong vòng 1 ngày