intelligent-machine-learning/dlrover

Add balance loss in atorch moe example

Open

#1.300 geöffnet am 18. Okt. 2024

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (212 Forks)github user discovery
Hacktoberfesttodo

Repository-Metriken

Stars
 (1.662 Stars)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Add balance loss in moe example.

We add use aux loss to router in moe example, similar to aux loss implementation in megatron moe.

Contributor Guide

Research-Richtung
Implementieren Sie den Hilfsverlust im MoE Router ähnlich der Megatron LM Implementierung.
Tech Stack
pythonpytorch
Domain
machine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60