[Feature Request] Add `hugepages` support to hyp-pytorch-job config
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 55/100
調査の方向性
まず、hyp-pytorch-job テンプレートと、その pod のリソース要求と制限を構築する CLI 設定のエントリポイントを見つけます。生成された pod spec を issue の hugepages-2Mi の例と比較し、既存のテンプレートテストまたは生成出力のチェックを確認します。両方の提案されたフィールドが要求された値を生成すれば完了です。
索引モデルが issue の本文から書いたものです。
説明
The hyp-pytorch-job template doesn't support requesting hugepages. EFA's RDMA stack uses hugepages (2Mi) to reduce TLB misses during DMA transfers for inter-node NCCL communication. Without this, users have to bypass the CLI and write raw YAML.
HyperPod nodes already pre-allocate hugepages (e.g. ~10562Mi on ml.p4d.24xlarge), but the CLI template has no way to request them in the pod spec. The official SageMaker docs for HyperPodPyTorchJob show hugepages-2Mi: 5120Mi in the example job spec, confirming this is an expected resource to configure.
Suggested config fields:
hugepages_2mi: 5120
hugepages_2mi_limit: 5120
Which would generate:
resources:
requests:
hugepages-2Mi: 5120Mi
limits:
hugepages-2Mi: 5120Mi
- 主要言語
- Python
- スター
- 41
- フォーク
- 95
- 平均マージ
- 18時間 29分
- マージ済み PR（30日）
- 5
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
aws/sagemaker-hyperpod-cli のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
aws/sagemaker-hyperpod-cli#348 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
aws/sagemaker-hyperpod-cli#314 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 52/100
aws/sagemaker-hyperpod-cli#431 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
aws/sagemaker-hyperpod-cli#353 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
aws/sagemaker-hyperpod-cli#352 ·
aws/sagemaker-hyperpod-cli の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
SwiftKickMobile/skai#84 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
jxxghp/MoviePilot#7070 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
flop-labs/technocore-chat#997 ·
メンテナーはふだん 1 日以内に返信
-
tunneld on Windows: Wi-Fi devices are not discovered because uvicorn runs on a ProactorEventLoopオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
doronz88/pymobiledevice3#2051 ·
メンテナーはふだん 1 日以内に返信