Feature Request: GPU Support
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 42/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- docker, go
- Área
- infrastructure, observability
Línea de trabajo
Empieza evaluando el plugin gpu_monitor propuesto frente a nvidia-smi, NVML y DCGM, incluida la forma de detectar un comando nvidia-smi bloqueado. Se considera terminado cuando se hayan añadido el plugin, el Dockerfile habilitado para GPU y las dependencias necesarias, y se detecten errores de dispositivo y GPUs bloqueadas; la monitorización de crashes de ejecución y OOM queda TBD.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
This feature request aims to enhance the Node Problem Detector with the ability to monitor GPUs on nodes and detect issues.
Currently NPD does not have direct visibility into GPUs. However, many workloads are GPU accelerated which makes GPU health an important part of node health. e.g. GPUs are widely used in machine learning training and inference. Especially for LLM training which may using tens of thousands of GPU cards. The entire training cluster should be restarted from previous checkpoint if any one of the GPUs in the cluster is gone bad.
This feature request adds the following capabilities:
-
GPU device monitoring: NPD will collect GPU device info periodically and look for crashes or errors via nvidia-smi/nvml/dcgm tools.
-
GPU device monitoring: NPD will check GPU device info periodically to detect if a GPU is "stuck" (e.g. nvidia-smi command hangs).
-
TBD: GPU runtime monitoring: NPD will check for crashes or OOM issues reported in nvidia logs.
Specifically, this feature request includes:
- Code for the gpu_monitor plugin
- A Dockerfile to build an NPD image with GPU support
- Other dependencies
Looking forward to your feedback!
- Lenguaje dominante
- Go
- Estrellas
- 3.5k
- Forks
- 704
- Merge medio
- 12 h 21 min
- PR fusionados (30 d)
- 3
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de kubernetes/node-problem-detector
-
Flag --enable-k8s-exporter=false causes loss of /healthz, /conditions, and /debug/pprof endpointsAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 56/100
kubernetes/node-problem-detector#1332 ·
-
kind/cleanup sig/node
Dificultad 5/5 Más de una semana Aptitud para principiantes 45/100
kubernetes/node-problem-detector#1331 ·
-
NPD needs significant unit test coverageQuizá libre de nuevo @DigitalVeer la tomó hace 62 días y no hay ningún pull request abierto. Abiertokind/cleanup sig/node
kubernetes/node-problem-detector#1328 · 2 comentarios · 1 asignado ·
-
kind/bug
Dificultad 3/5 1-2 días Aptitud para principiantes 58/100
kubernetes/node-problem-detector#1176 · 7 comentarios ·
-
kind/feature lifecycle/frozen
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
kubernetes/node-problem-detector#1112 · 8 comentarios ·
Todos los issues de kubernetes/node-problem-detector
Issues similares
-
Remove CAAPFAbiertokind/chore kind/cleanup needs-area
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
rancher/turtles#2848 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
priority: low 🌱 type: enhancement 💅🏼
Dificultad 2/5 Medio día Aptitud para principiantes 84/100
nebari-dev/llm-serving-pack#199 ·
Los mantenedores suelen responder en 3 días
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
kedacore/keda#8225 · 1 comentario ·
Los mantenedores suelen responder en 1 día