[QUESTION] How does veScale FSDP handles 2D FP8 blockwise scaling for RaggedShard
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 10/100
- Loại issue
- Tài liệu
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Lĩnh vực
- distributed-systems, machine-learning, performance
Hướng nghiên cứu
This is a design question about how veScale FSDP shards FP8 weights for the DeepSeek blockwise recipe, not a scoped change. Start by reading the RaggedShard/FSDP parameter sharding path and wherever the FP8 blockwise scaling is applied, then compare it with the to_blocked_128x128 helper quoted in the issue to see whether the permutation happens before sharding, after the all-gather, or not at all. Done means an explanation of whether the permute/unpermute round-trip is required around the AG and how a regular FP8 GEMM is launched on the result — ideally recorded as a doc or comment so the next reader does not have to ask.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
For deepseek FP8 blockwise recipe, the scaling block size for weights is 128x128. Having 2D block scaling means sharding by blocks will make memory incontiguous. Does it mean that we have to go through the following function to "permute" the original [N, K] weight tensor. And then after the parameter AG, do we also need to "unpermute" it such that we can launch a regular FP8 GEMM?
def to_blocked_128x128(a: torch.Tensor) -> torch.Tensor:
N, K = a.shape
return a.view(N//128, 128, K//128, 128).permute(0, 2, 1, 3).contiguous()
- Ngôn ngữ chính
- Python
- Star
- 1k
- Fork
- 65
- Merge trung bình
- 21 giờ 34 phút
- Pull request đã merge (30 ngày)
- 1
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của volcengine/veScale
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 12/100
volcengine/veScale#75 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100
volcengine/veScale#72 · 5 reaction ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 30/100
volcengine/veScale#68 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100
volcengine/veScale#65 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 12/100
volcengine/veScale#63 ·
Tất cả issue của volcengine/veScale
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
docling-project/docling-pipelines#669 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
blocked kind/enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
opendatahub-io/agent-eval-harness#329 · 2 bình luận · 1 reaction ·
-
cc_wrapper crashes with ValueError on Windows when a path is on another driveCó thể đã có người làm @TrapsterDK đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 79/100
tweag/rules_haskell#2492 ·
Maintainer thường phản hồi trong vòng 1 ngày