AMP + BF16 failing
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 35/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
调研方向
首先，在提到的入口点 dmoe.dMoE(args) 周围使用 PyTorch AMP BF16 重现常规 DDP，并将 unscale_grads traceback 作为失败信号。将其与强制整个网络使用 BF16 的情况进行比较，并确定 AMP BF16 是否应该能够工作；当失败得到修复，或其不受支持的状态得到明确记录时，即视为完成。
由索引模型根据 Issue 内容生成。
描述
Hi there,
Great work with dMoE! I'm trying to test dMoE with regular DDP + pytorch AMP(BF16) and I get the following error:
optimizer_state["found_inf_per_device"] = self._unscale_grads_(
File "/miniconda/lib/python3.10/site-packages/torch/cuda/amp/grad_scaler.py", line 248, in _unscale_grads_
torch._amp_foreach_non_finite_check_and_unscale_(
I'm just wrapping your exisiting dmoe.dMoE(args) logic.
Is this something that is currently unsupported? If I force the entire network to BF16 then everything works fine.
- 主要语言
- Python
- 星标
- 1.6k
- 派生
- 228
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
databricks/megablocks 的其他 Issue
-
难度 5/5 一周以上 新手友好度 25/100
databricks/megablocks#188 · 2 条评论 ·
-
难度 5/5 一周以上 新手友好度 20/100
databricks/megablocks#184 ·
-
难度 3/5 1-2 天 新手友好度 30/100
databricks/megablocks#180 · 1 条评论 ·
-
难度 5/5 一周以上 新手友好度 20/100
databricks/megablocks#179 ·
-
难度 3/5 1-2 天 新手友好度 35/100
databricks/megablocks#178 · 1 条评论 ·
查看 databricks/megablocks 的全部 Issue
相似的 Issue
-
[Bug]: Revit selector reads process ids 2000-2099 as years (flaky AgentClientTests.AYearOrAProcessIdSelectsTheHost)可能已有人在做 @Wurschdhaud 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 83/100
pyrevitlabs/pyRevit#3817 ·
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 85/100
521xueweihan/HelloGitHub#4074 ·
-
follow-up
难度 2/5 1-3 小时 新手友好度 62/100
维护者通常 1 天内回复
-
Helm chart: allow setting ingressClassName on the Ingress可能已有人在做 @commarla 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 85/100
pgadmin-org/pgadmin4#10658 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100