intelligent-machine-learning/dlrover

Add balance loss in atorch moe example

Open

#1300 aperta il 18 ott 2024

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (212 fork)github user discovery
Hacktoberfesttodo

Metriche repository

Star
 (1662 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Add balance loss in moe example.

We add use aux loss to router in moe example, similar to aux loss implementation in megatron moe.

Guida contributor

Direzione di ricerca
Implementa la perdita ausiliaria nel router MoE simile all'implementazione di Megatron LM.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60