[Bug]: driver-validation hides why a pre-installed driver failed and loops without a reason
メンテナーはふだん 1 日以内に返信
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 25/100
調査の方向性
Start from the driver-validation init container's pre-installed driver detection, where No pre-installed driver detected on the host is logged, then follow the fall-through into the retry loop that logs failed to validate the driver, retrying after 5 seconds. Done means the detection log names that nvidia-smi was found but failed, and the retry warning includes the underlying error. Pull request #3086 is already open against this issue, so check it before starting.
索引モデルが issue の本文から書いたものです。
説明
Describe the bug
With driver.enabled=false, if nvidia-smi exists on the host but fails (for example Failed to initialize NVML: Driver/library version mismatch after an unattended upgrade of the driver packages without a reboot), the driver-validation init container of nvidia-operator-validator does three things. It logs No pre-installed driver detected on the host: exit status 18. It then falls through to the driver-container path. After that it logs failed to validate the driver, retrying after 5 seconds\n every 5 seconds without the underlying error. The pod stays in Init, and nothing in the validator log says that the host driver is installed but broken.
To Reproduce
- Use a node with a pre-installed driver and
driver.enabled=false. - Make the host
nvidia-smifail. One way is to upgrade the driver user-space packages without reloading the kernel module. A fake/host/usr/bin/nvidia-smithat prints the mismatch message and exits non-zero gives the same logs. - Read the
driver-validationcontainer logs of a freshnvidia-operator-validatorpod on that node.
Expected behavior
The log says that nvidia-smi was found on the host and failed, and the retry warning includes the error it is retrying on.
Environment
- GPU Operator v26.3.3 (also current
main), pre-installed driver on Ubuntu, Kubernetes v1.34, containerd.
Related: #1276, #1687 (users stuck on the same retry line without a reason). I have a small patch ready.
This issue was drafted with AI assistance and reviewed by me.
- 主要言語
- Go
- スター
- 2.9k
- フォーク
- 576
- 平均マージ
- 1日 9時間
- マージ済み PR（30日）
- 78
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
NVIDIA/gpu-operator のほかの issue
-
feature lifecycle/frozen needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
NVIDIA/gpu-operator#3074 ·
メンテナーはふだん 1 日以内に返信
-
bug needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
NVIDIA/gpu-operator#3065 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: ClusterPolicy isDaemonSetReady can report Ready from a DaemonSet status of an older generation対応中かも @efegokdemir が 3 日前に担当しました。 オープンbug needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
NVIDIA/gpu-operator#3060 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: GPUCluster common name label breaks DRA validator selector対応中かも @ajavanma が 24 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
NVIDIA/gpu-operator#2955 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: container-toolkit DaemonSet: containerd-socket hostPath volume lacks mountPropagation: HostToContainer, pins host ZFS mounts and blocks zfs destroy ("dataset is busy")対応中かも @akhil9tiet が 1 日前に担当しました。 オープンbug needs-triage
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
NVIDIA/gpu-operator#3083 · コメント 1 件 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
NVIDIA/gpu-operator の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 81/100
apache/rocketmq-dashboard#6895 ·
メンテナーはふだん 3 日以内に返信
-
agent-butler-finding chore
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
jordansmall/spindrift#5466 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 87/100
777genius/agent-notifications#490 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
devantler-tech/ksail#7836 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
keyxmakerx/Chronicle#1469 ·
メンテナーはふだん 1 日以内に返信