intelligent-machine-learning/dlrover

Add balance loss in atorch moe example

Open

#1 300 ouverte le 18 oct. 2024

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (212 forks)github user discovery
Hacktoberfesttodo

Métriques du dépôt

Stars
 (1 662 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

Add balance loss in moe example.

We add use aux loss to router in moe example, similar to aux loss implementation in megatron moe.

Guide contributeur

Direction de recherche
Implémentez la perte auxiliaire dans le routeur MoE similaire à l'implémentation de Megatron LM.
Stack technique
pythonpytorch
Domaine
machine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonPyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60