[Feature Request] Add `hugepages` support to hyp-pytorch-job config
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 55/100
Hướng nghiên cứu
Bắt đầu bằng cách tìm template hyp-pytorch-job và điểm vào cấu hình CLI xây dựng các yêu cầu và giới hạn tài nguyên cho pod của nó. So sánh đặc tả pod được tạo với ví dụ hugepages-2Mi trong issue, sau đó kiểm tra các test hiện có của template hoặc các kiểm tra đầu ra được tạo; hoàn thành có nghĩa là cả hai trường được đề xuất đều tạo ra các giá trị được yêu cầu.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
The hyp-pytorch-job template doesn't support requesting hugepages. EFA's RDMA stack uses hugepages (2Mi) to reduce TLB misses during DMA transfers for inter-node NCCL communication. Without this, users have to bypass the CLI and write raw YAML.
HyperPod nodes already pre-allocate hugepages (e.g. ~10562Mi on ml.p4d.24xlarge), but the CLI template has no way to request them in the pod spec. The official SageMaker docs for HyperPodPyTorchJob show hugepages-2Mi: 5120Mi in the example job spec, confirming this is an expected resource to configure.
Suggested config fields:
hugepages_2mi: 5120
hugepages_2mi_limit: 5120
Which would generate:
resources:
requests:
hugepages-2Mi: 5120Mi
limits:
hugepages-2Mi: 5120Mi
- Ngôn ngữ chính
- Python
- Star
- 41
- Fork
- 95
- Merge trung bình
- 18 giờ 29 phút
- Pull request đã merge (30 ngày)
- 5
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của aws/sagemaker-hyperpod-cli
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
aws/sagemaker-hyperpod-cli#348 ·
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 68/100
aws/sagemaker-hyperpod-cli#314 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 52/100
aws/sagemaker-hyperpod-cli#431 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
aws/sagemaker-hyperpod-cli#353 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
aws/sagemaker-hyperpod-cli#352 ·
Tất cả issue của aws/sagemaker-hyperpod-cli
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 79/100
SACGF/variantgrid#2341 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 2 ngày
-
comp/cli P3 type/security
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
NousResearch/hermes-agent#141420 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
CKV_GCP_18 (GKEPublicControlPlane) passes when master_authorized_networks_config is absent, control plane is internet-reachableCó thể đã có người làm @Varshith-Kali đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
bridgecrewio/checkov#7753 ·
Maintainer thường phản hồi trong vòng 1 ngày