Implement Mixture of Depth and Experts (MoDE)
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 20/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu với bài báo MoDE và các bản triển khai Python được tham chiếu, src/models/mod.py và mixture_of_depths/main.py. Xác định những model entry point nào của MegaBlocks cần thay đổi và định nghĩa việc xác thực cho training và inference trước khi triển khai; issue không cung cấp các tệp repository, test hoặc tiêu chí chấp nhận.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Given that MegaBlocks is highly optimized for sparse MoE models like Mixtral, I am requesting support for a variant recently termed as MoDE by Google DeepMind. Benefits include much faster training and inference due to increased sparsity.
Paper: https://arxiv.org/abs/2404.02258
I found two implementations:
- Ngôn ngữ chính
- Python
- Star
- 1.6k
- Fork
- 228
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của databricks/megablocks
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
databricks/megablocks#188 · 2 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
databricks/megablocks#184 ·
-
Compatibility with CUDA 13.0Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 30/100
databricks/megablocks#180 · 1 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
databricks/megablocks#179 ·
-
Issue with Sparse MLPĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
databricks/megablocks#178 · 1 bình luận ·
Tất cả issue của databricks/megablocks
Issue tương tự
-
intake mcp-intake needs-ac needs-human-review priority:medium
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
Ikalus1988/MisakaNet#3848 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 75/100
521xueweihan/HelloGitHub#4105 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
igormcsouza/bookloud#54 ·
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
aws-samples/sample-per-model-bedrock#526 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
ok-oldking/ok-wuthering-waves#1802 ·
Maintainer thường phản hồi trong vòng 2 ngày