Gauge for FilesystemIsReadOnly not downgraded to 0 after fixing the problem
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- go
- Ambito
- observability, operating-systems
Direzione di ricerca
Inizia da config/kernel-monitor.json e log_monitor.go intorno alla riga 160, quindi segui il modo in cui la condizione permanente FilesystemIsReadOnly aggiorna problem_counter e problem_gauge. Riproduci il problema iniettando il messaggio indicato in /dev/kmsg e confronta le metriche prima e dopo la correzione del filesystem. Il lavoro è completato quando il comportamento di reset previsto per la condizione permanente è documentato o corretto senza eliminare il pod.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
The problem occurred when filesystem went to read only mode. That was fixed, but still in the metrics I was able to see the counter and gauge set up to 1.
I conducted a test and multiple times injected the FileSystemIsReadOnly to the /dev/kmsg (https://github.com/kubernetes/node-problem-detector/blob/master/config/kernel-monitor.json):
1 log_monitor.go:160] New status generated: &{Source:kernel-monitor Events:[{Severity:info Timestamp:2020-10-08 06:44:16.09315274 +0000 UTC m=+1331754.148888064 Reason:FilesystemIsReadOnly Message:Node condition ReadonlyFilesystem is now: True, reason: FilesystemIsReadOnly}] Conditions:[{Type:KernelDeadlock Status:False Transition:2020-09-22 20:48:21.98500453 +0000 UTC m=+0.040739839 Reason:KernelHasNoDeadlock Message:kernel has no deadlock} {Type:ReadonlyFilesystem Status:True Transition:2020-10-08 06:44:16.09315274 +0000 UTC m=+1331754.148888064 Reason:FilesystemIsReadOnly Message:Remounting filesystem read-only}]}
Still the metrics were shown as 1 and it did not downgraded to 0. Even the the issue with ro filesystem was fixed, still the metric was 1:
problem_counter{reason="FilesystemIsReadOnly"} 1
problem_gauge{reason="FilesystemIsReadOnly",type="ReadonlyFilesystem"} 1
As a workaround the pod was deleted and after that metrics were reset to 0.
What is the reason of that behaviour? The type "permanent"? Is deleting a pod the only solution?
kernel-monitor.json
{
"type": "permanent",
"condition": "ReadonlyFilesystem",
"reason": "FilesystemIsReadOnly",
"pattern": "Remounting filesystem read-only"
}
- Lingua principale
- Go
- Stelle
- 3.5k
- Fork
- 704
- Merge medio
- 12h 21m
- PR unite (30g)
- 3
Preparare l'ambiente
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di kubernetes/node-problem-detector
-
Flag --enable-k8s-exporter=false causes loss of /healthz, /conditions, and /debug/pprof endpointsAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 56/100
kubernetes/node-problem-detector#1332 ·
-
kind/cleanup sig/node
Difficoltà 5/5 Più di una settimana Idoneità per principianti 45/100
kubernetes/node-problem-detector#1331 ·
-
NPD needs significant unit test coverageForse di nuovo libera @DigitalVeer l’ha presa 64 giorni fa e non c’è nessuna pull request aperta. Apertakind/cleanup sig/node
kubernetes/node-problem-detector#1328 · 2 commenti · 1 assegnatario ·
-
kind/bug
Difficoltà 3/5 1-2 giorni Idoneità per principianti 58/100
kubernetes/node-problem-detector#1176 · 7 commenti ·
-
kind/feature lifecycle/frozen
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
kubernetes/node-problem-detector#1112 · 8 commenti ·
Tutte le issue di kubernetes/node-problem-detector
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
gruntwork-io/boilerplate#329 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
prime-radiant-inc/evener#3291 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
Netcracker/qubership-apihub-backend#582 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
I maintainer di solito rispondono entro 1 giorno