Lightning-AI/pytorch-lightning

Allow obtaining num_nodes from ClusterEnvironment

Open

#7,361 创建于 2021年5月4日

在 GitHub 查看
 (7 评论) (0 反应) (0 负责人)Python (3,233 fork)batch import
environmentfeaturegood first issuehelp wanted

仓库指标

Star
 (26,687 star)
PR 合并指标
 (平均合并 9天 15小时) (30 天内合并 3 个 PR)

描述

🚀 Feature

num_nodes must currently be specified manually by the user. However, the number of nodes is generally known in a cluster environment [1] and could be provided by and initialized from ClusterEnvironment

[1] For example $AWS_BATCH_JOB_NUM_NODES in https://docs.aws.amazon.com/batch/latest/userguide/multi-node-parallel-jobs.html

Pitch

https://github.com/PyTorchLightning/pytorch-lightning/blob/763a9a9495977b23cbd6a57f10253b662fd592a5/pytorch_lightning/plugins/training_type/ddp.py#L62-L75

could be updated to initialize num_nodes from ClusterEnvironment if ClusterEnvironment is provided and implements a num_nodes method.

cc @borda @awaelchli @ananthsub

贡献者指南

研究方向
实现从ClusterEnvironment获取num nodes的方法并将其集成到DDP插件中。
技术栈
pythonpytorch
领域
backendmachine learning
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
2
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-3 小时
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
PythonPyTorch
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
75