Gauge for FilesystemIsReadOnly not downgraded to 0 after fixing the problem
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 45/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- go
- Lĩnh vực
- observability, operating-systems
Hướng nghiên cứu
Bắt đầu với config/kernel-monitor.json và log_monitor.go quanh dòng 160, sau đó theo dõi cách điều kiện vĩnh viễn FilesystemIsReadOnly cập nhật problem_counter và problem_gauge. Tái hiện vấn đề bằng cách chèn thông báo đã nêu vào /dev/kmsg và so sánh các metric trước và sau khi filesystem được sửa. Hoàn tất khi hành vi reset mong đợi đối với điều kiện vĩnh viễn được ghi lại hoặc sửa đúng mà không xóa pod.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
The problem occurred when filesystem went to read only mode. That was fixed, but still in the metrics I was able to see the counter and gauge set up to 1.
I conducted a test and multiple times injected the FileSystemIsReadOnly to the /dev/kmsg (https://github.com/kubernetes/node-problem-detector/blob/master/config/kernel-monitor.json):
1 log_monitor.go:160] New status generated: &{Source:kernel-monitor Events:[{Severity:info Timestamp:2020-10-08 06:44:16.09315274 +0000 UTC m=+1331754.148888064 Reason:FilesystemIsReadOnly Message:Node condition ReadonlyFilesystem is now: True, reason: FilesystemIsReadOnly}] Conditions:[{Type:KernelDeadlock Status:False Transition:2020-09-22 20:48:21.98500453 +0000 UTC m=+0.040739839 Reason:KernelHasNoDeadlock Message:kernel has no deadlock} {Type:ReadonlyFilesystem Status:True Transition:2020-10-08 06:44:16.09315274 +0000 UTC m=+1331754.148888064 Reason:FilesystemIsReadOnly Message:Remounting filesystem read-only}]}
Still the metrics were shown as 1 and it did not downgraded to 0. Even the the issue with ro filesystem was fixed, still the metric was 1:
problem_counter{reason="FilesystemIsReadOnly"} 1
problem_gauge{reason="FilesystemIsReadOnly",type="ReadonlyFilesystem"} 1
As a workaround the pod was deleted and after that metrics were reset to 0.
What is the reason of that behaviour? The type "permanent"? Is deleting a pod the only solution?
kernel-monitor.json
{
"type": "permanent",
"condition": "ReadonlyFilesystem",
"reason": "FilesystemIsReadOnly",
"pattern": "Remounting filesystem read-only"
}
- Ngôn ngữ chính
- Go
- Star
- 3.5k
- Fork
- 704
- Merge trung bình
- 12 giờ 21 phút
- Pull request đã merge (30 ngày)
- 3
Chuẩn bị môi trường
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của kubernetes/node-problem-detector
-
Flag --enable-k8s-exporter=false causes loss of /healthz, /conditions, and /debug/pprof endpointsĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 56/100
kubernetes/node-problem-detector#1332 ·
-
kind/cleanup sig/node
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 45/100
kubernetes/node-problem-detector#1331 ·
-
NPD needs significant unit test coverageCó thể làm lại được @DigitalVeer đã nhận 62 ngày trước và không có pull request nào đang mở. Đang mởkind/cleanup sig/node
kubernetes/node-problem-detector#1328 · 2 bình luận · 1 người được giao ·
-
kind/bug
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 58/100
kubernetes/node-problem-detector#1176 · 7 bình luận ·
-
kind/feature lifecycle/frozen
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
kubernetes/node-problem-detector#1112 · 8 bình luận ·
Tất cả issue của kubernetes/node-problem-detector
Issue tương tự
-
Remove CAAPFĐang mởkind/chore kind/cleanup needs-area
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
rancher/turtles#2848 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Maintainer thường phản hồi trong vòng 1 ngày
-
priority: low 🌱 type: enhancement 💅🏼
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 84/100
nebari-dev/llm-serving-pack#199 ·
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
kedacore/keda#8225 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày