IBM/ModuleFormer
Xem trên GitHubModuleFormer is a MoE-based architecture that includes two different types of experts: stick-breaking attention heads and feedforward experts. We released a collection of ModuleFormer-based Language Models (MoLM) ranging in scale from 4 billion to 8 billion parameters.
- Star
- 225
- Fork
- 12
- Issue cho người mới đang mở
- 1
- Issue đã lập chỉ mục
- 3
- Ngôn ngữ chính
- Python
- Giấy phép
- Apache-2.0
- Lần push lên GitHub gần nhất
- 2/1/2024
- Lập chỉ mục gần nhất
- 17/9/2026
- Hướng dẫn đóng góp
- Không có hướng dẫn đóng góp
- Quy tắc ứng xử
- Không có quy tắc ứng xử
- Label cho người mới
- Chưa lập chỉ mục label nào cho người mới
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Đang tải issue
-
Verify evals on Papers with Code Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
IBM/ModuleFormer#13 ·
-
Will you open the train code？ Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
IBM/ModuleFormer#11 ·
-
Length exploration Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
IBM/ModuleFormer#9 ·