Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Inconsistent CLI parameters to specify resources requests and limits across training and inference

Đang mở
  • Có gì không ổn?
#308 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
cli

Hướng nghiên cứu

So sánh các tham số tài nguyên training với các tham số resources-requests và resources-limits của custom-endpoint, sau đó xem xét issue 306 về các yêu cầu thiết bị EFA và Neuron. Xác định một phương pháp CLI nhất quán cho training và inference, bao gồm việc xử lý thiết bị, và xác minh rằng cả hai đường dẫn lệnh đều thể hiện cùng các khái niệm tài nguyên.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

For training, the CLI parameters are:

  --accelerators INTEGER          Number of accelerators (GPUs/TPUs)
  --vcpu TEXT                     Number of vCPUs
  --memory TEXT                   Amount of memory in GiB
  --accelerators-limit INTEGER    Limit for the number of accelerators (GPUs/TPUs)
  --vcpu-limit TEXT               Limit for the number of vCPUs
  --memory-limit TEXT             Limit for the amount of memory in GiB

For inference (custom endpoints), the CLI parameters are:

  --resources-requests JSON       JSON object of resource requests, e.g. '{"cpu":"1","memory":"2Gi"}'
  --resources-limits JSON         JSON object of resource limits, e.g. '{"cpu":"2","memory":"4Gi"}'

Also, as mentioned in issue 306 (https://github.com/aws/sagemaker-hyperpod-cli/issues/306), the CLI should offer a consistent way to specify EFA (and Neuron) devices.

Ngôn ngữ chính
Python
Star
41
Fork
95
Merge trung bình
18 giờ 29 phút
Pull request đã merge (30 ngày)
5

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của aws/sagemaker-hyperpod-cli

Tất cả issue của aws/sagemaker-hyperpod-cli

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.