AMP + BF16 failing
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
調査の方向性
まず、言及されているエントリポイント dmoe.dMoE(args) の周辺で PyTorch AMP BF16 を使用した通常の DDP を再現し、unscale_grads traceback を失敗のシグナルとして使用します。これをネットワーク全体を BF16 に強制した場合と比較し、AMP BF16 が動作するはずかどうかを判断します。失敗が修正されるか、サポートされていないことが明確に文書化されれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Hi there,
Great work with dMoE! I'm trying to test dMoE with regular DDP + pytorch AMP(BF16) and I get the following error:
optimizer_state["found_inf_per_device"] = self._unscale_grads_(
File "/miniconda/lib/python3.10/site-packages/torch/cuda/amp/grad_scaler.py", line 248, in _unscale_grads_
torch._amp_foreach_non_finite_check_and_unscale_(
I'm just wrapping your exisiting dmoe.dMoE(args) logic.
Is this something that is currently unsupported? If I force the entire network to BF16 then everything works fine.
- 主要言語
- Python
- スター
- 1.6k
- フォーク
- 228
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
databricks/megablocks のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
databricks/megablocks#188 · コメント 2 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
databricks/megablocks#184 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 30/100
databricks/megablocks#180 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
databricks/megablocks#179 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
databricks/megablocks#178 · コメント 1 件 ·
databricks/megablocks の issue をすべて見る
似ている issue
-
comp/tools P2 type/bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
NousResearch/hermes-agent#142908 · コメント 1 件 ·
-
[oblt-aw][autodoc] Fix malformed headings in new Buildkite docs pages対応中かも @github-actions が今日担当しました。 オープンdocumentation
難易度 1/5 1時間未満 初心者へのやさしさ 83/100
メンテナーはふだん 1 日以内に返信
-
[Bug]: fileUploadMatrix.test.ts URL case does a real DNS lookup and fails offline対応中かも @r2jaff が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
ComposioHQ/composio#5054 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
pytorch/tensordict#3286 ·
メンテナーはふだん 1 日以内に返信