different load_balancing_loss with different pipeline_parallel_size
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- distributed-systems, machine-learning
Direzione di ricerca
Riproduci la configurazione GPT 500M riportata con 64 esperti, variando pipeline_parallel_size tra 1, 2 e 4, quindi confronta load_balancing_loss con i valori riportati. Verifica se la differenza è dovuta alla precisione numerica o a un problema di aggregazione del parallelismo della pipeline; il lavoro è completato quando vengono spiegati i diversi valori e viene confermato se esiste un bug.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I load the same model trained with megatron + megablocks, and I found the load_balancing_loss is slightly different. When I increase the pipeline_parallel_size, the load_balancing_loss is also increasing. Is it just the problem of precision or there is a potential bug？
For example, when I train a 500M gpt model with 64 experts, I list the lbl and pp_size in the table below.
| pp_size | lbl |
|---|---|
| 1 | 1.005E-01 |
| 2 | 1.007E-01 |
| 4 | 1.013E-01 |
- Lingua principale
- Python
- Stelle
- 1.6k
- Fork
- 230
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di databricks/megablocks
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
databricks/megablocks#188 · 2 commenti ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
databricks/megablocks#184 ·
-
Compatibility with CUDA 13.0Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 30/100
databricks/megablocks#180 · 1 commento ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
databricks/megablocks#179 ·
-
Issue with Sparse MLPAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
databricks/megablocks#178 · 1 commento ·
Tutte le issue di databricks/megablocks
Issue simili
-
tunneld on Windows: Wi-Fi devices are not discovered because uvicorn runs on a ProactorEventLoopAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
doronz88/pymobiledevice3#2051 ·
I maintainer di solito rispondono entro 1 giorno
-
Remove DatacircleAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
collabnix/awesome-mcp-lists#230 ·
I maintainer di solito rispondono entro 9 giorni
-
Groc schedules with out of range values pass config validation and fail later when the scheduler is builtForse già presa @auraseb l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
autowarefoundation/autoware_carla_scenario#342 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
ianktoo/project-monitor#14 ·