Lightning-AI/pytorch-lightning

Allow obtaining num_nodes from ClusterEnvironment

Open

#7,361 opened on 2021幎5月4日

GitHub で芋る
 (7 comments) (0 reactions) (0 assignees)Python (3,233 forks)batch import
environmentfeaturegood first issuehelp wanted

Repository metrics

Stars
 (26,687 stars)
PR merge metrics
 (平均マヌゞ 9d 15h) (30d で 3 merged PRs)

説明

🚀 Feature

num_nodes must currently be specified manually by the user. However, the number of nodes is generally known in a cluster environment [1] and could be provided by and initialized from ClusterEnvironment

[1] For example $AWS_BATCH_JOB_NUM_NODES in https://docs.aws.amazon.com/batch/latest/userguide/multi-node-parallel-jobs.html

Pitch

https://github.com/PyTorchLightning/pytorch-lightning/blob/763a9a9495977b23cbd6a57f10253b662fd592a5/pytorch_lightning/plugins/training_type/ddp.py#L62-L75

could be updated to initialize num_nodes from ClusterEnvironment if ClusterEnvironment is provided and implements a num_nodes method.

cc @borda @awaelchli @ananthsub

コントリビュヌタヌガむド

調査方針
ClusterEnvironmentからnum nodesを取埗するメ゜ッドを実装し、DDPプラグむンに統合しおください。
技術スタック
pythonpytorch
領域
backendmachine learning
Issue 皮別
機胜
難床新しい貢献者にずっおの実装難床です。1 は非垞に小さな倉曎、5 は専門的な䜜業です。
2
掚定時間経隓ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3時間
掻動状況Issue が今どれだけ取り組みやすいかを瀺したす。新しい、掻発、叀い、ブロック䞭、たたはメンテナヌ入力埅ちなどです。
アクティブ
明確さ期埅される倉曎、受け入れ条件、次の手順がどれだけ明確かを瀺したす。
明確
前提条件
PythonPyTorch
初心者向け床初回貢献者にどれだけ取り組みやすいかを 1-100 で掚定したスコアです。
75