Any advantage of GShard over Mesh Tensorflow for MoE?
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 1/5
- Thời gian dự kiến
- Dưới một giờ
- Mức phù hợp với người mới
- 12/100
- Loại issue
- Tài liệu
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
The issue asks for a comparison of GShard and Mesh TensorFlow, including possible overhead differences and design or hyperparameter changes, but names no Lingvo files or tests. Start by reviewing the referenced GShard paper and the project's Mesh TensorFlow and GShard documentation; done means providing a sourced comparison that answers those questions.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Thank you very much for open-sourcing GShard!
I'm currently using MoE from Mesh Tensorflow. The design of MoE used in MTF is equivalent to that of GShard iiuc.
According to GShard paper, GShard has an advantage that one can seamlessly incorporate MoE into the TF codeset without rewriting as in MTF.
Mesh TensorFlow [23] helps the user to build large models with SPMDstyle per-operator partitioning, by rewriting the computation in a Python library on top of TensorFlow; in comparison, our approach partitions the graph in the compiler based on light-weight annotations without requiring the user to rewrite the model.
Is there any other advantage of GShard over MTF such as reducing the overhead of MTF (if any) for a larger number of experts?
If there is any substantial change in the design (e.g. hyperparameters) from MTF, please let me know :)
- Ngôn ngữ chính
- Python
- Star
- 2.9k
- Fork
- 452
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của tensorflow/lingvo
-
About inverseAugĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
tensorflow/lingvo#370 · 1 bình luận ·
-
Độ khó 4/5 1-2 ngày Mức phù hợp với người mới 35/100
tensorflow/lingvo#359 · 1 bình luận ·
-
how to intall lingvo on mac m1Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 15/100
tensorflow/lingvo#356 · 5 reaction ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
tensorflow/lingvo#333 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
tensorflow/lingvo#332 · 1 bình luận ·
Tất cả issue của tensorflow/lingvo
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 75/100
SACGF/variantgrid#2791 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
Maintainer thường phản hồi trong vòng 1 ngày
-
bot-triaged oncall: cpu inductor
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
kubescape/cel-admission-library#141 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày