Gauge for FilesystemIsReadOnly not downgraded to 0 after fixing the problem
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- go
Línea de trabajo
Comienza con config/kernel-monitor.json y log_monitor.go alrededor de la línea 160, y luego sigue cómo la condición permanente FilesystemIsReadOnly actualiza problem_counter y problem_gauge. Reproduce el problema inyectando el mensaje indicado en /dev/kmsg y compara las métricas antes y después de reparar el sistema de archivos. La tarea estará terminada cuando el comportamiento de restablecimiento esperado para la condición permanente esté documentado o corregido sin eliminar el pod.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
The problem occurred when filesystem went to read only mode. That was fixed, but still in the metrics I was able to see the counter and gauge set up to 1.
I conducted a test and multiple times injected the FileSystemIsReadOnly to the /dev/kmsg (https://github.com/kubernetes/node-problem-detector/blob/master/config/kernel-monitor.json):
1 log_monitor.go:160] New status generated: &{Source:kernel-monitor Events:[{Severity:info Timestamp:2020-10-08 06:44:16.09315274 +0000 UTC m=+1331754.148888064 Reason:FilesystemIsReadOnly Message:Node condition ReadonlyFilesystem is now: True, reason: FilesystemIsReadOnly}] Conditions:[{Type:KernelDeadlock Status:False Transition:2020-09-22 20:48:21.98500453 +0000 UTC m=+0.040739839 Reason:KernelHasNoDeadlock Message:kernel has no deadlock} {Type:ReadonlyFilesystem Status:True Transition:2020-10-08 06:44:16.09315274 +0000 UTC m=+1331754.148888064 Reason:FilesystemIsReadOnly Message:Remounting filesystem read-only}]}
Still the metrics were shown as 1 and it did not downgraded to 0. Even the the issue with ro filesystem was fixed, still the metric was 1:
problem_counter{reason="FilesystemIsReadOnly"} 1
problem_gauge{reason="FilesystemIsReadOnly",type="ReadonlyFilesystem"} 1
As a workaround the pod was deleted and after that metrics were reset to 0.
What is the reason of that behaviour? The type "permanent"? Is deleting a pod the only solution?
kernel-monitor.json
{
"type": "permanent",
"condition": "ReadonlyFilesystem",
"reason": "FilesystemIsReadOnly",
"pattern": "Remounting filesystem read-only"
}
- Lenguaje dominante
- Go
- Estrellas
- 3.5k
- Forks
- 704
- Merge medio
- 12 h 21 min
- PR fusionados (30 d)
- 3
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de kubernetes/node-problem-detector
-
Flag --enable-k8s-exporter=false causes loss of /healthz, /conditions, and /debug/pprof endpointsAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 56/100
kubernetes/node-problem-detector#1332 ·
-
kind/cleanup sig/node
Dificultad 5/5 Más de una semana Aptitud para principiantes 45/100
kubernetes/node-problem-detector#1331 ·
-
NPD needs significant unit test coverageQuizá libre de nuevo @DigitalVeer la tomó hace 63 días y no hay ningún pull request abierto. Abiertokind/cleanup sig/node
kubernetes/node-problem-detector#1328 · 2 comentarios · 1 asignado ·
-
kind/bug
Dificultad 3/5 1-2 días Aptitud para principiantes 58/100
kubernetes/node-problem-detector#1176 · 7 comentarios ·
-
kind/feature lifecycle/frozen
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
kubernetes/node-problem-detector#1112 · 8 comentarios ·
Todos los issues de kubernetes/node-problem-detector
Issues similares
-
bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
open-telemetry/opentelemetry-go-compile-instrumentation#1417 ·
Los mantenedores suelen responder en 2 días
-
agent-research-finding agent-research-recommend chore ready-for-agent
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
jordansmall/spindrift#4068 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Type/Task
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
OpenNSW/nsw-srilanka#537 ·
Los mantenedores suelen responder en 1 día
-
security
Dificultad 2/5 1-2 días Aptitud para principiantes 62/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 90/100
Los mantenedores suelen responder en 1 día