AMP + BF16 failing
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Ambito
- distributed-systems, machine-learning
Direzione di ricerca
Inizia riproducendo il DDP normale con PyTorch AMP BF16 attorno all’entry point menzionato dmoe.dMoE(args), usando il traceback unscale_grads come segnale del fallimento. Confrontalo con il forzare l’intera rete a BF16 e determina se AMP BF16 dovrebbe funzionare; il lavoro è completato quando il fallimento è stato corretto oppure il suo stato di non supporto è chiaramente documentato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi there,
Great work with dMoE! I'm trying to test dMoE with regular DDP + pytorch AMP(BF16) and I get the following error:
optimizer_state["found_inf_per_device"] = self._unscale_grads_(
File "/miniconda/lib/python3.10/site-packages/torch/cuda/amp/grad_scaler.py", line 248, in _unscale_grads_
torch._amp_foreach_non_finite_check_and_unscale_(
I'm just wrapping your exisiting dmoe.dMoE(args) logic.
Is this something that is currently unsupported? If I force the entire network to BF16 then everything works fine.
- Lingua principale
- Python
- Stelle
- 1.6k
- Fork
- 228
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di databricks/megablocks
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
databricks/megablocks#188 · 2 commenti ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
databricks/megablocks#184 ·
-
Compatibility with CUDA 13.0Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 30/100
databricks/megablocks#180 · 1 commento ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
databricks/megablocks#179 ·
-
Issue with Sparse MLPAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
databricks/megablocks#178 · 1 commento ·
Tutte le issue di databricks/megablocks
Issue simili
-
comp/tools P2 type/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
NousResearch/hermes-agent#142908 · 1 commento ·
-
[oblt-aw][autodoc] Fix malformed headings in new Buildkite docs pagesForse già presa @github-actions l’ha presa oggi. Apertadocumentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 83/100
I maintainer di solito rispondono entro 1 giorno
-
[Bug]: fileUploadMatrix.test.ts URL case does a real DNS lookup and fails offlineForse già presa @r2jaff l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
ComposioHQ/composio#5054 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
pytorch/tensordict#3286 ·
I maintainer di solito rispondono entro 1 giorno