Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Feature Request: GPU Support

Đang mở
  • Có gì không ổn?
#833 35 bình luận 16 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
42/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
docker, go
Lĩnh vực
infrastructure, observability

Hướng nghiên cứu

Bắt đầu bằng cách đánh giá plugin gpu_monitor được đề xuất dựa trên nvidia-smi, NVML và DCGM, bao gồm cách phát hiện một lệnh nvidia-smi bị treo. Được xem là hoàn tất khi đã thêm plugin, Dockerfile hỗ trợ GPU và các dependency cần thiết, đồng thời phát hiện được lỗi thiết bị và GPU bị treo; việc giám sát crash runtime và OOM vẫn TBD.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

kind/feature lifecycle/frozen

This feature request aims to enhance the Node Problem Detector with the ability to monitor GPUs on nodes and detect issues.

Currently NPD does not have direct visibility into GPUs. However, many workloads are GPU accelerated which makes GPU health an important part of node health. e.g. GPUs are widely used in machine learning training and inference. Especially for LLM training which may using tens of thousands of GPU cards. The entire training cluster should be restarted from previous checkpoint if any one of the GPUs in the cluster is gone bad.

This feature request adds the following capabilities:

  • GPU device monitoring: NPD will collect GPU device info periodically and look for crashes or errors via nvidia-smi/nvml/dcgm tools.

  • GPU device monitoring: NPD will check GPU device info periodically to detect if a GPU is "stuck" (e.g. nvidia-smi command hangs).

  • TBD: GPU runtime monitoring: NPD will check for crashes or OOM issues reported in nvidia logs.

Specifically, this feature request includes:

  • Code for the gpu_monitor plugin
  • A Dockerfile to build an NPD image with GPU support
  • Other dependencies

Looking forward to your feedback!

Ngôn ngữ chính
Go
Star
3.5k
Fork
704
Merge trung bình
12 giờ 21 phút
Pull request đã merge (30 ngày)
3

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của kubernetes/node-problem-detector

Tất cả issue của kubernetes/node-problem-detector

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.