selective router precision
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Đọc megablocks/layers/router.py, megablocks/layers/mlp.py và megablocks/layers/dmoe.py quanh các dòng được liên kết, sau đó lần theo dtype đã cấu hình và hành vi của autocast trong đường dẫn training liên quan. So sánh hành vi quan sát được với tham chiếu Switch Transformer của issue; để hoàn tất cần có câu trả lời được maintainer xác nhận hoặc một thay đổi có phạm vi rõ ràng cho selective fp32 routing.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
To my understanding -- and please correct me if I am wrong about this -- there is no mechanism to selectively compute routing logits in fp32, as is suggested in e.g. switch transformers. Basis:
- The only mention of fp32/float computations I see anywhere are for
moe_lbl_in_fp32 - the router is initialized with the same dtype as the MLP weights (as configured by Arguments).
- There does not seem to be any explicit casting || autocast deactivation in router.py, nor any attempt to do so in dMoE
- Given that the router is implemented as a torch.nn.Linear, and the input to the router is pre-casted to autocast's precision, I can only presume that the computation must be done in half precision under normal AMP training.
Is this correct? If so, have you observed any instabilities in practice during training? Perhaps it is just not necessary...
- Ngôn ngữ chính
- Python
- Star
- 1.6k
- Fork
- 228
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue tương tự
-
test-failure
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
teramoby/speedle-plus#129 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
btclib-org/btclib-ecc#404 ·
-
verify: just verify runs tools/verify_agents_imports.py (the recipe line was only read, not run)Đang mởneeds-verification
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 76/100
EchoTools/nevr-runtime#1322 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
changelog investigate
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 78/100
ramnes/notion-sdk-py#430 ·
-
bug good first issue
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 91/100
hyeonjoong/debussy#56 ·