Resnet DDP Warning: grad strides do not match bucket view strides
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
调研方向
首先使用 submission_runner.py、pytorch 框架和 imagenet_resnet 工作负载运行报告中的 torchrun 命令，然后检查 DDP 警告及其梯度步幅细节。确定该警告是否有已知的解决方案，并明确对于自报结果和最终评分是否预期使用 DDP；当得到有证据支持的答案或已记录的指导时，即视为完成。
由索引模型根据 Issue 内容生成。
描述
Description
On imagenet_resnet workload, I encounter the following warning when running with DDP and pytorch framework.
/u/najroldi/miniconda3/envs/alpe/lib/python3.8/site-packages/torch/autograd/init.py:251: UserWarning: Grad strides do not match bucket view strides. This may indicate grad was not created according to the gradient layout contract, or that the param's strides changed since DDP was constructed. This is not an error, but may impair performance.
grad.sizes() = [512, 2048, 1, 1], strides() = [2048, 1, 2048, 2048]
Is this a known problem? Is there a known fix?
Related to this, I have noticed that the prize_qualification_baseline logs start with python3 submission_runner.py. For self reporting results, and for the final scoring, should we use DDP?
Steps to Reproduce
torchrun --redirects 1:0,2:0,3:0,4:0,5:0,6:0,7:0 --standalone --nnodes=1 --nproc_per_node=8 submisison_runner.py --framework=pytorch --workload=imagenet_resnet ...
- 主要语言
- Python
- 星标
- 425
- 派生
- 80
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
mlcommons/algorithmic-efficiency 的其他 Issue
-
难度 5/5 一周以上 新手友好度 30/100
-
难度 4/5 3-5 天 新手友好度 38/100
mlcommons/algorithmic-efficiency#924 · 5 条评论 ·
-
难度 5/5 一周以上 新手友好度 25/100
-
难度 5/5 一周以上 新手友好度 20/100
-
Topological overfitting detection: H0 gap catches overfitting before accuracy diverges (r=0.998)未关闭
难度 5/5 一周以上 新手友好度 15/100
查看 mlcommons/algorithmic-efficiency 的全部 Issue
相似的 Issue
-
wr.dynamodb.read_items returns [{}] for a single partition value that does not exist可能已有人在做 @auraseb 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 84/100
aws/aws-sdk-pandas#3520 ·
维护者通常 2 天内回复
-
requires triage typing
难度 2/5 1-3 小时 新手友好度 78/100
sqlalchemy/sqlalchemy#13704 ·
维护者通常 1 天内回复
-
Edit tool converts CRLF files to LF可能已有人在做 @RaphaelFakhri 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 68/100
huggingface/tau#774 ·
维护者通常 1 天内回复
-
show ignores the row limit when a column or table name contains "limit"可能已有人在做 @RaphaelFakhri 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 67/100
linebender/resvg#1179 · 1 条评论 ·
维护者通常 2 天内回复