Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Expert Parallelism for MoEs

Đang mở
  • Có gì không ổn?
#165 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
8/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
distributed-systems, machine-learning

Hướng nghiên cứu

Start with the existing MoE layer and router code in Fast-LLM, then read the EPLB repo to see what eplb.rebalance_experts expects as input. The issue calls for a 2-layer, 12-expert test with 4 redundant experts across 8 GPUs, with expert load checked for balance. The design is open and the issue is nearly two years old with no assignee, so confirm scope with maintainers first.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement need update

🎯 Goal (What & Why)

Integrate Expert Parallelism (EP) into Fast-LLM's MoE architecture.

Motivations:

  • Support Larger MoE Models: Enable training and inference for bigger models than Mixtral-8x7B, exceeding single-GPU memory constraints.
  • Improve GPU Load Balancing: Use DeepSeek's EPLB (eplb.rebalance_experts) to dynamically balance GPU loads via redundant expert replication and heuristic packing, see https://github.com/deepseek-ai/EPLB/tree/main.
  • Reduce Communication Overhead: Initially apply global load balancing, and eventually implement hierarchical load balancing to colocate expert groups.

🚀 Execution Plan

Step 1: Minimal Viable Product (MVP)

  1. Integrate eplb.rebalance_experts with Fast-LLM:

    • Add support for expert parallelism only in MoE layers.
    • Implement global load balancing for distributing expert replicas across GPUs.
    • Provide a minimal configuration interface, reusing existing MoE router logic in Fast-LLM.

  2. Validation & Testing:

    • Test with a small MoE, say 2-layers containing 12 experts per layer, using 4 redundant experts and distributing them across 8 GPUs.
    • Verify that the expert load is balanced and that performance is maintained during inference.

  3. Documentation:

    • Update Fast-LLM's documentation to include usage examples and configuration guidelines for enabling EP.
Step 2: Additional Optimizations (Post-MVP)
  • Support for Hierarchical Load Balancing: When the number of server nodes divides the number of expert groups.
  • Advanced Routing Strategies: Introduce DeepSeek's group-limited expert routing.
  • Performance Enhancements: Explore fused operations and other optimizations for speed.

📌 Acceptance Criteria (Must-Haves for Completion)

  • EP must be functional and tested in Fast-LLM's MoE layers.
  • The implementation must be documented clearly, with examples and edge cases covered.
  • The PR must include a performance/impact summary, demonstrating memory and compute efficiency gains.
  • No refactors unless directly necessary for feature completion.

🛠️ Project Management

  • Assign the project to the Fast-LLM project.
  • Set the Estimate field (in days) in the GitHub project.
  • Use the Size field to categorize the PR size (Small/Medium/Large).
  • Assign an owner when opening the issue.
Ngôn ngữ chính
Python
Star
337
Fork
52
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ServiceNow/Fast-LLM

Tất cả issue của ServiceNow/Fast-LLM

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.