Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Bug]: driver-validation hides why a pre-installed driver failed and loops without a reason

Đang mở
  • Có gì không ổn?
#3,085 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@fjvbn2003 đang làm issue này rồi.

Từ ngày 16/10/2026.

  • #3086 của @fjvbn2003 — đang mở

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
25/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
go, kubernetes
Lĩnh vực
devops

Hướng nghiên cứu

Start from the driver-validation init container's pre-installed driver detection, where No pre-installed driver detected on the host is logged, then follow the fall-through into the retry loop that logs failed to validate the driver, retrying after 5 seconds. Done means the detection log names that nvidia-smi was found but failed, and the retry warning includes the underlying error. Pull request #3086 is already open against this issue, so check it before starting.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Describe the bug

With driver.enabled=false, if nvidia-smi exists on the host but fails (for example Failed to initialize NVML: Driver/library version mismatch after an unattended upgrade of the driver packages without a reboot), the driver-validation init container of nvidia-operator-validator does three things. It logs No pre-installed driver detected on the host: exit status 18. It then falls through to the driver-container path. After that it logs failed to validate the driver, retrying after 5 seconds\n every 5 seconds without the underlying error. The pod stays in Init, and nothing in the validator log says that the host driver is installed but broken.

To Reproduce

  1. Use a node with a pre-installed driver and driver.enabled=false.
  2. Make the host nvidia-smi fail. One way is to upgrade the driver user-space packages without reloading the kernel module. A fake /host/usr/bin/nvidia-smi that prints the mismatch message and exits non-zero gives the same logs.
  3. Read the driver-validation container logs of a fresh nvidia-operator-validator pod on that node.

Expected behavior

The log says that nvidia-smi was found on the host and failed, and the retry warning includes the error it is retrying on.

Environment

  • GPU Operator v26.3.3 (also current main), pre-installed driver on Ubuntu, Kubernetes v1.34, containerd.

Related: #1276, #1687 (users stuck on the same retry line without a reason). I have a small patch ready.

This issue was drafted with AI assistance and reviewed by me.

Ngôn ngữ chính
Go
Star
2.9k
Fork
576
Merge trung bình
1 ngày 9 giờ
Pull request đã merge (30 ngày)
78

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/gpu-operator

Tất cả issue của NVIDIA/gpu-operator

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.