intelligent-machine-learning/dlrover
在 GitHub 查看Add balance loss in atorch moe example
Open
#1,300 建立於 2024年10月18日
Hacktoberfesttodo
倉庫指標
- Star
- (1,662 star)
- PR 合併指標
- (PR 指標待抓取)
描述
Add balance loss in moe example.
We add use aux loss to router in moe example, similar to aux loss implementation in megatron moe.