[Feature Request] Add `hugepages` support to hyp-pytorch-job config
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 55/100
Línea de trabajo
Comienza localizando la plantilla hyp-pytorch-job y el punto de entrada de la configuración de la CLI que construye las solicitudes y los límites de recursos de su pod. Compara la especificación del pod generada con el ejemplo de hugepages-2Mi del issue y, después, revisa las pruebas existentes de la plantilla o las comprobaciones de la salida generada; se considera terminado cuando ambos campos sugeridos producen los valores solicitados.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
The hyp-pytorch-job template doesn't support requesting hugepages. EFA's RDMA stack uses hugepages (2Mi) to reduce TLB misses during DMA transfers for inter-node NCCL communication. Without this, users have to bypass the CLI and write raw YAML.
HyperPod nodes already pre-allocate hugepages (e.g. ~10562Mi on ml.p4d.24xlarge), but the CLI template has no way to request them in the pod spec. The official SageMaker docs for HyperPodPyTorchJob show hugepages-2Mi: 5120Mi in the example job spec, confirming this is an expected resource to configure.
Suggested config fields:
hugepages_2mi: 5120
hugepages_2mi_limit: 5120
Which would generate:
resources:
requests:
hugepages-2Mi: 5120Mi
limits:
hugepages-2Mi: 5120Mi
- Lenguaje dominante
- Python
- Estrellas
- 41
- Forks
- 95
- Merge medio
- 18 h 29 min
- PR fusionados (30 d)
- 5
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de aws/sagemaker-hyperpod-cli
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
aws/sagemaker-hyperpod-cli#348 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 68/100
aws/sagemaker-hyperpod-cli#314 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 52/100
aws/sagemaker-hyperpod-cli#431 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
aws/sagemaker-hyperpod-cli#353 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
aws/sagemaker-hyperpod-cli#352 ·
Todos los issues de aws/sagemaker-hyperpod-cli
Issues similares
-
bug Size: XS
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
oposs/repo-infra#93 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 69/100
Graphify-Labs/graphify#4546 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 65/100
521xueweihan/HelloGitHub#4025 ·