Domino + PP
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- distributed-systems, machine-learning
Hướng nghiên cứu
Bắt đầu bằng việc đọc schedules.py, đặc biệt là forward_backward_no_pipelining(), và theo dõi cách tối ưu hóa tensor-parallel của Domino được kết nối với việc lập lịch. Xác định liệu tensor parallelism và pipeline parallelism có được hỗ trợ cùng nhau hay không; công việc được xem là hoàn tất khi câu hỏi về khả năng tương thích có câu trả lời được ghi thành tài liệu hoặc được kiểm thử.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
I’m excited about the recent introduction of Domino and its impressive TP optimization.
When I was using deepspeed-domino to better overlap comm & comp in TP, I found domino use forward_backward_no_pipelining() in schedules.py. Is that mean I couldn't use domino(tp optimization) and pp together?
- Ngôn ngữ chính
- Python
- Star
- 6.8k
- Fork
- 1.1k
- Merge trung bình
- 2 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 1
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của deepspeedai/DeepSpeedExamples
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 52/100
deepspeedai/DeepSpeedExamples#996 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
deepspeedai/DeepSpeedExamples#995 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 52/100
deepspeedai/DeepSpeedExamples#989 ·
-
moe example 404 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
deepspeedai/DeepSpeedExamples#984 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100
deepspeedai/DeepSpeedExamples#979 · 6 bình luận ·
Tất cả issue của deepspeedai/DeepSpeedExamples
Issue tương tự
-
agent-ready documentation needs-triage
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 88/100
-
documentation
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
-
Add https://search.jeremyh.xyz/ Đang mởinstance instance add
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
searxng/searx-instances#939 · 1 bình luận ·
-
area-deployment area-integrations triage:bot-seen
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 86/100