Local node's GPU/CPU/memory enrichment is never refreshed after startup
Les mainteneurs répondent en général sous 5 jours
Évaluation
Cette issue n'a pas encore été évaluée.
Description
The discovery directory's enrichment for the local node is captured once and then frozen. Peers converge; self does not.
What I measured
Ubuntu node with an RTX 3060, paired with a macOS node, v0.1.1-463 from the .deb.
I loaded a 7 GB model into LM Studio with full GPU offload. nvidia-smi went from 121 MiB to 9329 MiB. node-info served the new figure within its usual cadence — curl 127.0.0.1:14318/v1/node-info returned vram_used_bytes: 9782165504 with telemetryValid: true, msSince: 280. The desktop UI's VRAM graph showed the step too, because it reads the node directly.
The discovery snapshot did not move. discovery:get-nodes kept returning vram_used_bytes: 126877696 — the value from daemon start — for as long as I watched, checked at 20 s intervals over several minutes. Restarting the broker made it correct again, until the next change.
Why
onBrowse deliberately skips our own entry (daemon.go: "Never let a browse event touch our own entry. Self is registry-driven"), so the path that re-enriches every peer on every browse never runs for self. publishSelf — the only thing that enriches self — is called at startup, on service (un)register, and after an identity/address change. refreshPeersLoop refreshes advertised addresses, the mesh, cluster identity and models on its 15 s tick, but nothing re-reads self's node-info.
Worth noting that the comment above noteNodeInfo already states the intended behaviour:
The enrichment sweep repeats every peerRefreshInterval for as long as a node is advertised
That holds for peers, not for self.
Who sees it
Only consumers of the discovery snapshot — which includes nvpair-job-scheduler, since the broker fans the same snapshot to it. The UI is unaffected, which is why this is easy to miss.
Repro
- Pair two nodes; note the local node's
gpus[].vram_used_bytesviadiscovery:get-nodes. - Load a large model with GPU offload on that node.
curl 127.0.0.1:14318/v1/node-info— fresh.discovery:get-nodes— unchanged, indefinitely.
A fix that works
Calling d.publishSelf() on the refreshPeersLoop tick converges the directory within 20 s. Verified live in both directions, loading and unloading. It does mean one self node-updated per tick, since publishSelf emits unconditionally; the tidier alternative is an applyInfo path with a changed check, mirroring applyModels. Happy to open a PR for either shape if useful.
- Langage dominant
- Go
- Étoiles
- 1.6k
- Forks
- 266
- Merge moyen
- 3 j 6 h
- PR mergées (30 j)
- 22
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de NVIDIA/Personal-AI-Router
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
NVIDIA/Personal-AI-Router#165 ·
Les mainteneurs répondent en général sous 5 jours
-
bug
Difficulté 4/5 3-5 jours Accessibilité débutants 46/100
NVIDIA/Personal-AI-Router#164 ·
Les mainteneurs répondent en général sous 5 jours
-
enhancement
Difficulté 4/5 Plus d'une semaine Accessibilité débutants 12/100
NVIDIA/Personal-AI-Router#162 ·
Les mainteneurs répondent en général sous 5 jours
-
enhancement
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
NVIDIA/Personal-AI-Router#154 · 1 commentaire ·
Les mainteneurs répondent en général sous 5 jours
-
[Feature]: [Ollama] Alert the user about model pull failuresPeut-être pris @ckelseynv l’a pris il y a 4 jours. Ouverteenhancement
Difficulté 3/5 1-2 jours Accessibilité débutants 56/100
NVIDIA/Personal-AI-Router#152 · 1 commentaire · 1 personne assignée ·
Les mainteneurs répondent en général sous 5 jours
Toutes les issues de NVIDIA/Personal-AI-Router
Issues similaires
-
component/gpu-kubelet-plugin component/helm needs-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
kubernetes-sigs/dra-driver-nvidia-gpu#1559 ·
Les mainteneurs répondent en général sous 1 jour
-
TOTP enrollment returns 500 for phone-only users (empty TOTP account name)Peut-être pris @emiliosandoval4 l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 60/100
Les mainteneurs répondent en général sous 1 jour
-
8.9 to 8.10 Helm upgrade guide still says deprecated keys are removed in chart v16 (Camunda 8.11)Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 78/100
camunda/camunda-platform-helm#7559 ·
Les mainteneurs répondent en général sous 1 jour
-
docs: namespaceRegexes example teaches prefix matching, but regexes are matched as a substringPeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouvertetriage/pending-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
external-secrets/external-secrets#7117 ·
Les mainteneurs répondent en général sous 2 jours
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
ENTERPILOT/GoModel#1183 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour